Alles, was Sie über die Elasticsearch-Paginierung wissen sollten

Stellen Sie sich vor, Sie sehen sich eine Online-Bibliothek voller Artikel, Bücher und Ressourcen an. Sie möchten die relevantesten Informationen ohne Hilfe finden. Das Ergebnis? Frustration und Ineffizienz.

Zum Glück gibt es die Paginierung. Die Paginierung erlaubt es Ihnen, effizient durch große Datensätze zu navigieren. Besonders, wenn Sie es mit komplexen Suchsystemen wie Elasticsearch zu tun haben. Einfach gesagt bringt die Suchpaginierung Ordnung ins Chaos.

In diesem Artikel sehen wir uns an, wie die Elasticsearch-Paginierung funktioniert, welche verschiedenen Methoden verfügbar sind und welche Einschränkungen dieses System hat.

Wenn Anfragen an Elasticsearch gesendet werden, sehen Nutzer/innen standardmäßig die zehn wichtigsten Dokumente, was die Leistung und das Nutzerverhalten verbessert.

Arten der Paginierung

Es gibt verschiedene Paginierungsansätze und jede eignet sich für andere Bedürfnisse. Sehen wir sie uns genauer an.

Offset-Paginierung

Das ist die einfachste Art der Paginierung, bei der die Ergebnisse in nummerierte Seiten geteilt werden. Jede Seite hat eine fixe Ergebnisanzahl und Nutzer/innen können mit den Schaltflächen „Nächste” und „Vorherige” oder durch die Auswahl einer Seitennummer navigieren.

Stellen Sie sich einen Online-Büchershop vor, bei dem pro Seite 10 Bücher angezeigt werden. Wenn ein Nutzer bzw. eine Nutzerin auf Seite 3 ist, überspringt das System die ersten 20 Bücher und zeigt die Bücher mit den Nummern 21-30 an.

Cursor-basierte Paginierung

Anstatt sich auf nummerierte Seiten zu verlassen, verwendet dieser Paginierungsansatz einen Referenzpunkt (Cursor), um die nächsten Ergebnisse abzurufen. Die cursor-basierte Paginierung ist bei Feeds auf sozialen Medien und Chat-Apps gängig, wo ständig neue Daten in das System eingespeist werden.

Keyset-Paginierung

Der Keyset-Ansatz ist für Situationen ideal, in denen die Ergebnisse einheitlich geordnet werden müssen. Anstatt eine Reihe von Ergebnissen in einer zufälligen Reihenfolge anzuzeigen, werden die Resultate mithilfe bestimmter Keys wie Zeitstempeln oder IDs abgerufen.

Stellen Sie sich zum Beispiel ein Dashboard für den Aktienmarkt vor, auf dem der Handel in Echtzeit angezeigt wird. Das System ruft Handelsaktivitäten mithilfe des zuletzt aufgezeichneten Zeitstempels als Referenz ab, anstatt die Resultate zufällig zu nummerieren.

Besprechen wir nun, die Paginierungsansätze, die Elasticsearch am häufigsten verwendet:

Scroll-Paginierung

Dies ist die beste Art für große Datensätze. Es wird ein Scroll-Kontext aktiviert, der die nächste Gruppe von Ergebnissen abruft, ohne dass welche übersprungen werden. Dieser Paginierungsansatz wird oft verwendet, um Daten zu exportieren oder umfangreiche Suchergebnisse zu verarbeiten.

Stellen Sie sich vor, Sie müssen alle Kundeneinträge von einer Datenbank exportieren. Das System lädt 1 000 Kund/innen auf einmal und setzt den Scroll-Kontext ein, um die nächste Gruppe abzurufen, bis alle Einträge gesammelt wurden.

Scroll-Paginierung und Scroll-API

Sie können eine Scroll-API nutzen, um große Mengen an Dokumenten zu iterieren, die zu der Anfrage passen. Obwohl diese API Scroll-API heißt, sollte sie nie für die Implementierung von endlosem Scrolling eingesetzt werden. Gleichzeitig sollte sie nicht für häufige Endnutzer-Anfragen verwendet werden.

Dieser Suchvorgang kann mit Scroll-Anfragen umgehen, aber die Scroll-API ist vollständig zustandsbehaftet, was heißt, dass alle Index-Updates während der Scroll-Anfrage ignoriert werden. Elasticsearch muss eine Momentaufnahme der aktuellen Indexversion speichern und sie während der Lebensspanne des Scrolls aufrechterhalten, damit diese Funktion richtig arbeiten kann, was besonders für häufig aktualisierte Indizes ressourcenintensiv sein kann.

Für die Scroll-API benötigen Sie eine scroll_id, welche Sie erhalten, indem Sie ein spezifisches Scroll-Argument in der Anfrage hinzufügen. Diese ID wird dann in nachfolgenden Anfragen verwendet, um die restlichen Ergebnisse abzurufen.

Warum sollten Sie die Elasticsearch-Paginierung verwenden?

Elasticsearch ist eine verteilte Analyse-Suchmaschine. Sie ist derzeit eine der beliebtesten Suchmaschinen für die Betriebsintelligenz, die Geschäftsanalyse, die Loganalyse, die Sicherheitsintelligenz und mehr. Sie indexiert Daten als JSON-Dokumente und ermöglicht es Nutzer/innen, Informationen mithilfe von Anfragen abzurufen.

Elasticsearch speichert die Originaldokumente automatisch und fügt innerhalb des Cluster-Indexes suchbare Referenzen ein. Außerdem können Nutzer/innen die Elasticsearch-API einsetzen, um Dokumente mithilfe von Anfragenstrings oder vordefinierten Filtern auf effiziente Weise abzurufen.

Wenn Ihre Webseite eine große Menge von Daten anzeigen muss, die auf Elasticsearch gespeichert sind, ist die Effizienz äußerst wichtig. Wenn der Index zu viele Informationen enthält, fällt es dem API-Gateway eventuell schwer, damit umzugehen. Die beste Lösung ist, die Suchergebnisse zu paginieren, sodass Sie die Kontrolle darüber haben, wie viele Daten bei jeder Anfrage abgerufen werden, was zu konsistenten Antwortzeiten führt. So erhalten Kund/innen jedes Mal voraussagbare Daten.

Bevor Sie die Paginierung auf der Seite des Kunden implementieren, müssen Sie jedoch zuerst die Speicherdaten am Back-End paginieren. Zum Glück bieten die meisten Datenspeicherplattformen, inklusive Elasticsearch, eingebaute Funktionen für die Paginierung, Filterung und Sortierung von Daten an.

Zusätzlich dazu, dass Ergebnisse in kleineren Mengen geliefert werden, hilft die Paginierung auch bei Leistungsengpässen und optimiert die Systemeffizienz. Indem Entwickler/innen bei Datenabrufsmethoden, wie beim Überspringen von Ergebnissen, angemessene Grenzen setzen, können sie die Antwortzeiten für Endnutzer/innen verbessern. Ein gut optimiertes Suchleistendesign kann das Nutzererlebnis bei Suchanfragen weiter verbessern.

Die Struktur Ihrer Daten und Ihre Anforderungen bestimmt, welche Paginierungsmethode verwendet werden sollte.

Typische Paginierung auf Elasticsearch

Bei der Sendung von Suchanfragen an Elasticsearch werden die Standardwerte verwendet, um die ersten oder relevantesten Dokumente mit maximal 10 Ergebnissen zu senden.

Bei dieser Paginierungsmethode ist die oberste Grenze 10 000. Die Paginierung erlaubt es nicht, mehr als 10 000 Dokumente anzuzeigen. Jedoch kann diese Konfiguration mit der Befehlszeile (index.max_resul_window) geändert werden. Beachten Sie jedoch, dass dies später zu Problemen führen kann, wie einer hohen Speichernutzung bei der Bearbeitung von Indizes.

Die Suchanfrage besteht aus zwei Phasen.

Die Anfragenphase

• Datenknoten führen in dem Cluster eine Suchanfrage durch.
• Jeder Knoten berechnet den Relevanzscore der passenden Dokumente.
• Die passenden Dokument-IDs und ihre Scores werden in einer Liste zusammengetragen.
• Diese Liste wird an den Koordinationsknoten zurückgesendet, der die Ergebnisse im Speicher verbindet, sortiert und lagert.

Beim Umgang mit großen Offsets (z.B. tiefe Paginierung) könnten Sie in dieser Phase auf Probleme stoßen. Die Score-ID-Liste wächst erheblich an und nimmt viel Speicher ein, wodurch der Suchvorgang verlangsamt wird.

Die Abrufphase

• Der Koordinationsknoten bietet die Datenknoten, die tatsächlichen Dokumente abzurufen.
• Die Datenknoten machen die Dokumente basierend auf ihren IDs ausfindig und rufen die JSON-Quelle jedes Dokuments ab.
• Die Knoten bündeln diese Dokumente in eine einzige „Mehrere Get-Anfrage”.
• Die Dokumente werden an den Koordinationsknoten zurück gesendet, der das endgültige Ergebnis zusammenstellt und dem Kunden/der Kundin zeigt.

Obwohl diese Phase effizient ist, müssen der Anfragenkontext und die Scoring-Informationen im Speicher aufbewahrt werden, bis die Antwort gesendet wird. Deshalb ist es meist gut, kleinere Seitengrößen zu verwenden.

Große Seiten oder tiefe Offsets können eine große Menge an Speicherressourcen einnehmen, was die Leistung abschwächt.

Live-Index-Updates und Paginierung

Elasticsearch unterstützt Live-Index-Updates gut, ohne Leistungsprobleme zu verursachen. Es ist einfach, Dokumente hinzuzufügen, zu löschen oder zu aktualisieren, während Anfragen des gleichen Indexes durchgeführt werden.

Obwohl dies sehr nützlich sein kann, könnte es zu Inkonsistenzen bei Suchergebnisseiten führen, wenn die Paginierung involviert ist.

Wenn Sie zum Beispiel ein Dokument einfügen, das zu der Anfrage passt und der Nutzer/die Nutzerin auf die zweite Seite klickt, wird das zuletzt angesehene Dokument oben angezeigt. „Search_after” und die Paginierung sind zustandslos, was bedeutet, dass die Suchtreffer nicht unbedingt gleich sind, wenn Nutzer/innen zu anderen Seiten blättern.

Um sicherzustellen, dass das Sucherlebnis nach einer bestimmten Anzahl von Wiederholungen konsistent bleibt, muss die zustandslose Paginierung verwendet werden. Dies bringt uns zur nächsten Suchmethode namens Point-in-Time-API.

Point-in-Time-API mit Paginierung oder „search_after”

Sie können die Point-in-Time-API (PIT) nutzen, um „search_after” oder Ihre traditionelle Paginierung zu erweitern und sie in zustandsbehaftete Funktionen zu verwandeln. Nutzer/innen erhalten nach einer bestimmten Zeit immer dieselbe Index-Version, auch wenn die Daten während der Paginierung aktualisiert werden. Alle neuen Dokumente oder Änderungen werden ignoriert, wenn PIT aktiv ist, was bedeutet, dass das Sucherlebnis konsistent und berechenbar bleibt.

Was ist die tiefe Paginierung und warum sollte man sie vermeiden?

Die tiefe Paginierung bei Elasticsearch bezeichnet die Anfrage von Suchergebnissen von großen Offsets wie 500 Seiten oder mehr.

Dies führt zu einer hohen Speichernutzung und Cluster-Latenz und unterbricht die Leistung Ihres Clusters. Mit diesem Ansatz ermöglichen Sie Zugriff auf alle Seiten. Das hört sich theoretisch gut an, aber selbst Google zeigt nur eine begrenzte Anzahl von Seiten an.

Elasticsearch berechnet Treffer mehrmals neu, während es die gesamte Score-ID-Liste sortiert und speichert. Stattdessen sollte der Fokus auf relevantem Scoring, Filtern und der UI liegen, um die Suchergebnisse auf der ersten Seite zu optimieren.

Am anderen Ende dieses Spektrums liegt die flache Paginierung. Sie ermöglicht eine einfache Navigation durch Seiten, wird bei der tiefen Paginierung jedoch ineffizient, da Elasticsearch Einträge scannen und überspringen muss, bevor es die angeforderten Daten anzeigen kann.

Elasticsearch-Paginierung über 10 000

Wie Sie bereits wissen, ist das Standardlimit für die Paginierung bei Elasticsearch 10 000 Ergebnisse. Dies wird von der Einstellung index.max_result_window gesteuert. Wenn Sie versuchen, mit der Standardform + Größenpaginierung mehr Anfragen abzurufen, wird eine Fehlernachricht angezeigt.

Wieso gibt es diese Grenze?

Ergebnisse abzurufen, die sich tief in großen Datensätzen befinden, ist kompliziert, da Elasticsearch alle Ergebnisse bis zu dem angeforderten Offset im Speicher sammeln und sortieren muss. Wenn Sie die Ergebnisse 50 000 bis 50 010 anfordern, müssen die ersten 50 010 Ergebnisse sortiert werden, was die Leistung beeinträchtigt.

Dies sollte vermieden werden, um die Grenze nicht unnötig zu erhöhen. Verwenden Sie für die tiefe Paginierung search_after oder für die Extraktion einer großen Datenmenge Scroll.

Wie man mit der 10000-Grenze arbeitet

Wenn Sie die Grenze erhöhen möchten, gibt es ein paar Optionen:

• max_result_window erhöhen: Sie können diese Grenze erhöhen, was jedoch zu einer höheren Speichernutzung und Leistungsproblemen führen kann.
• Scroll-API verwenden: Es wurde entwickelt, um große Datensätze abzurufen.
• search_after verwenden: Es zeigt anstatt des Offsettings, basierend auf einem einzigartigen, sortierbaren Feld, Ergebnisse nach einem bestimmten Dokument an.
• Point-in-Time (PIT): Kann für eine konsistente Datenansicht bei der Paginierung mit search_after kombiniert werden.

Was sind die Grenzen von Elasticsearch?

Während Elasticsearch allgemein eine verlässliche Lösung ist, gibt es einige Einschränkungen, auf die Sie achten sollten.

Herausforderungen bei der Skalierbarkeit

Elasticsearch wurde für die horizontale Skalierung entwickelt, weshalb es schwierig sein kann, große Cluster mit vielen Daten und häufigen Updates zu verwalten. Potenzielle Probleme umfassen das Shard-Management (ein Shard ist eine grundsätzliche Dateneinheit für die Speicherung und Verteilung), die Ausbalancierung und die Datenkonsistenz.

Wenn die Indizes wachsen, kann die Such- und Indexierungsgeschwindigkeit von Elasticsearch außerdem sinken.

Speicher- und Ressourcenanforderungen

Beim Umgang mit komplexen Anfragen verlässt sich Elasticsearch auf den Speicher. Dies kann zu einem hohen Ressourcenverbrauch führen und umfangreiche, kraftvolle Hardware erfordern.

Konsistenzeinschränkung

Dieses System setzt eine verteilte Architektur ein, was eventuell zu Konsistenzproblemen führen kann. In manchen Situationen werden aufgrund der Natur solch eines Systems und wegen Verzögerungen bei der Replikation alte Daten angezeigt.

Anfragenkomplexität

Wenn mehrstufige Anfragen beteiligt sind, können diese Komplexitäten zu Leistungsengpässen führen, was die Reaktionszeit verlängert. Während Elasticsearch effektiv mit der Volltext-Suche umgeht, könnte es bei komplexen Zusammenführungen Probleme geben. Es ist wichtig, die aggregierte Suche zu vereinfachen und die Anfragenstrukturen zu optimiern, um die Leistung zu verbessern, während gleichzeitig wertvolle Einblicke bereitgestellt werden.

Betriebliche Instandhaltung

Wenn die Cluster wachsen, wird es immer schwieriger werden, Elasticsearch Instand zu halten. Aufgaben wie das Upgraden zu besseren Versionen, der Umgang mit Knotenfehlern und die Überwachung der Gesundheit werden unüberschaubar.

Nicht ideal für komplexe Transaktionen

Elasticsearch unterstützt keine vollständigen ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability; dt.: Atomarität, Konsistenz, Isolation, Langlebigkeit). Wenn eine Anwendung komplexe Transaktionsvorgänge erfordert (wie eine traditionelle relationale Datenbank), stößt Elasticsearch vielleicht auf Probleme.

Begrenzte Berichte

Um fortgeschrittenere Analysen und Berichte zu erhalten, muss Elasticsearch für die Visualisierung mit externen Tools wie Kibana integriert werden oder Berichttools von Drittanbietern einsetzen, um komplexe Anforderungen zu erfüllen.

Fazit

Die effektive Paginierung hilft Ihnen, reibungslose Sucherlebnisse zu liefern, besonders im Umgang mit großen Datensätzen auf Elasticsearch. Abhängig von den spezifischen Bedürfnissen Ihrer App kann die Wahl der richtigen Paginierungsmethode die Leistung und Nutzbarkeit erheblich verbessern.

Wenn Nutzer/innen beispielsweise frei zwischen Seiten navigieren können sollen, ist die traditionelle Navigation wahrscheinlich die beste Wahl.

Wenn Nutzer/innen jedoch die Schaltflächen „Nächste” und „Vorherige” erfordern und einfach auf mehrere Seiten zugreifen können sollen, eignet sich die Methode mit search_after am besten.

Für Szenarien, in denen konsistente Suchergebnisseiten erforderlich sind, ist die Point-in-Time-API ideal. Wenn Sie andererseits alle Anfragetreffer auflisten möchten oder über mehrere Ergebnisseiten hinweg für Konsistenz sorgen möchten, ist die Scroll-Methode die beste Wahl.

Vergessen Sie nicht, dass Elasticsearch – obwohl es eine kräftige Lösung ist – auch einige Herausforderungen hat, wie Probleme bei der Skalierbarkeit, Betriebsineffizienzen und begrenzte Analysen.

Wenn Sie diese Paginierungsmethoden verstehen und diejenigen auswählen, die am besten zu Ihren spezifischen Anforderungen passt, können Sie für Ihre Nutzer/innen ein effizientes, skalierbares und konsistentes Sucherlebnis schaffen.

Häufig gestellte Fragen