Synthetische Offline-Tests: Eine schnelle und sichere Methode zur Verbesserung der Suchergebnisse

Beim Optimieren der Website-Suche korrigieren viele Leute entweder einzelne Suchanfragen oder führen A/B-Tests durch. Wenn Sie jedoch 100 % sicher sein möchten, dass Ihre Suche so funktioniert, wie sie sollte, sollten Sie synthetische Offline-Tests verwenden. Es iteriert schnell Suchalgorithmen und eliminiert das Risiko des Verlusts von Conversions, indem Sie Änderungen sicher offline testen können.

Jedes E-Commerce-Unternehmen möchte eine großartige Suchfunktion haben, aber der Weg dorthin ist schwierig. Es erfordert große Beobachtungsgabe, gute Kenntnisse der Suchanalyse und einen systematischen Ansatz. Die meisten Menschen folgen jedoch einfach ihrem Bauchgefühl, was nicht der ideale Weg ist.

Die Leistungsfähigkeit synthetischer Offline-Tests

Eine der besten Methoden, die wir gefunden haben, um die Suchergebnisse zu verbessern, nennt sich synthetisches Offline-Testen. Offline, weil Sie keine Live-Benutzer zum Testen benötigen, und synthetisch, weil Sie nur gemessene Daten als Basis verwenden, können Live-Benutzer sich etwas anders verhalten. Der Vorteil dieser Methode besteht darin, dass Sie keine negativen Auswirkungen auf Ihre Conversion-Rate riskieren, ziemlich schnell Ergebnisse erhalten und nur Suchprotokolle benötigen (oder genauer gesagt: Abfragen, Ergebnisse und Benutzerinteraktionen mit diesen Ergebnissen).

Die Methode funktioniert so: Sie scannen die früheren Suchanfragen der Benutzer und führen sie erneut mit einem neuen Ranking-Algorithmus aus. Wenn Sie wissen, welche Ergebnisse Ihrer Suche in der Vergangenheit zurückgegeben wurden und welche dieser Ergebnisse angeklickt oder konvertiert wurden, können Sie diese mit den Ergebnissen des neuen Ranking-Algorithmus vergleichen.

Analysieren von Ergebnissen aus synthetischen Offline-Tests

Stellen Sie sich vor, dass für Abfrage x die alte Suche Produkt X an Position 1 zurückgegeben hat. Das bedeutet, dass Produkt X bei dieser Suchanfrage der am höchsten konvertierende Artikel war. Mit dem neuen Algorithmus lieferte eine neue Suche nach Abfrage x Produkt X an Position 10. Können Sie erraten, welche Suche besser war? Die richtige Antwort ist die ursprüngliche Suche.

Das war einfach! Nehmen wir nun ein schwierigeres Beispiel: Abfrage x gibt Produkt Y als bestes Ergebnis zurück. Manche Leute klicken darauf; daher scheint es eine relevante Übereinstimmung zu sein, aber das wirklich beste Ergebnis X ist nicht unter den Ergebnissen. Ihre neue Suche behebt dies, indem sie Produkt X an erster Stelle und Produkt Y an zweiter Stelle einordnet. Was wie eine Regression erscheinen mag, ist es in Wirklichkeit nicht, weil die Ergebnisse für Abfrage x besser sind.

Wie Sie sehen, ist es in vielen Fällen nicht so einfach, zu analysieren, was besser ist, und Sie benötigen komplexe Modelle, um zuverlässige und umsetzbare Ergebnisse zu erhalten. Es gibt verschiedene quantitative Modelle zur Messung der Ranking-Qualität, wie z. B. normalisierter abgezinster kumulativer Gewinn (NDCG), abgezinster kumulativer Gewinn, mittlerer reziproker Rang oder Ranking-Korrektheit (Präzision, mittlere durchschnittliche Genauigkeit usw.).

All diese Metriken werden oft nur über Top-n-Ergebnissen gemessen, da diese die höchste Chance haben, von den Benutzern gesehen zu werden. Es gibt noch robustere und komplexere Modelle, die auf implizitem Feedback basieren und sich besser für die Modellierung der Suchqualität eignen. Jede dieser Metriken hat unterschiedliche Eigenschaften und modelliert unterschiedliche Aspekte der Suchqualität, aber am Ende haben Sie, egal für welche Sie sich entscheiden, ein quantitatives Maß für Ihre Suche, das Sie verwenden können, um verschiedene Ranking-Algorithmen zu vergleichen.

Jenseits der Messung der Änderung der Suchqualität

Synthetisches Offline-Testen ermöglicht Ihnen mehr als nur das Messen der Änderung der Suchqualität – es ermöglicht Ihnen, die Gründe für den Leistungsunterschied zu verstehen. Wenn Sie es richtig gemacht haben, können Sie mit dem neuen Ranking umfassende Berichte und Aggregationen der individuellen historischen Abfrageleistung erhalten. Sie können dann anfangen, Fragen zu stellen und genau die Abfragen sehen, bei denen das neue Ranking geholfen hat oder wo es die Ergebnisse verschlechtert hat.

Unserer Erfahrung nach kann Ihnen das Durchgehen einiger Abfragen, bei denen die Suchleistung am stärksten beeinträchtigt wurde, dabei helfen, Muster zu identifizieren, bei denen das neue Ranking unterdurchschnittlich abschneidet. Anschließend können Sie Ihre Annahmen korrigieren, den Ranking-Algorithmus aktualisieren und den Offline-Test erneut durchführen.

Der beste Weg ist, Methoden zu kombinieren

Das Gute an synthetischen Offline-Tests ist, dass sie wichtige Erkenntnisse liefern. Wenn ein synthetischer Offline-Test zeigt, dass Ihre neue Suche viel schlechter ist als Ihre aktuelle Suche, dann wird sie im Allgemeinen schlechter sein. Wenn Ihr synthetischer Offline-Test zeigt, dass Ihre neue Suche viel besser ist als Ihre aktuelle Suche, dann ist sie im Allgemeinen besser. Aber um wie viel?

Das kann Ihnen diese Methode nicht sagen, da sie kein reales Verhalten darstellt. Um das herauszufinden, müssen Sie einen Live-A/B-Test durchführen. Wenn Sie also das nächste Mal etwas reparieren möchten:

1. Finden Sie eine Abfrage, die verbessert werden muss.
2. Aktualisieren Sie den Ranking-Algorithmus.
3. Führen Sie synthetische Offline-Tests durch, bis Sie sicher sind, dass es eine Verbesserung gibt.
4. Führen Sie zur Bestätigung einen Live-A/B-Test durch.
5. Spülen und wiederholen.

So machen wir es bei Luigi’s Box und es hat uns das Know-how gegeben, dem Sie vertrauen. Die gute Nachricht ist, dass wir synthetisches Offline-Testen in Luigi’s Box integriert haben. Wenn Sie es also ausprobieren möchten, müssen Sie es nicht selbst entwickeln.

Um mehr über diese Funktion zu erfahren, wenden Sie sich bitte an unsere Vertriebsmitarbeiter.