Datart: Was ist der Zauber hinter der 19-prozentigen Conversion-Steigerung? A/B-Test

Nach Auswertung der Tests haben wir festgestellt, dass Luigi's Box Search im Vergleich zur ursprünglichen Suchversion auf beiden Sprachversionen des E-Shops nachweislich besser war.

Datart: Was ist der Zauber hinter der 19-prozentigen Conversion-Steigerung? A/B-Test

Datart, ein Mitglied des HP TRONIC-Gruppenportfolios, ist einer der führenden Akteure im Einzelhandelsverkauf von Unterhaltungselektronik in der Tschechischen Republik und der Slowakei. Ob im stationären Handel oder beim Verkauf über E-Shops, Datart ist seit 32 Jahren bei uns. Es ist der Empfänger der Mastercard Merchant of the Year 2021 Auszeichnungen in der Kategorie Elektrotechnik und der Most Trusted Brand 2020 und 2021. Im Jahr 2021 steigerte die HP TRONIC-Gruppe, einschließlich DATART, ihren Umsatz um 15 % auf 24,1 Mrd. CZK. EBITDA-Gewinn von 1,29 Mrd. CZK.

In diesem Artikel erfahren Sie Folgendes:

  • Es gibt immer einen Grund zum Testen
  • Der Einsatz des Tests muss perfekt sein
  • Ein A/B-Test kann ein guter Anfang sein
  • Es ist möglich, in relativ kurzer Zeit auf signifikante Ergebnisse hinzuarbeiten
  • Gelegentliche Tests können überraschen

War es am Anfang die Analytik, Neugier oder Intuition?

Mehrere hochkarätige Kunden begannen mit Luigi’s Box am selben Ort wie Datart. Am Anfang setzten sie Luigi’s Box Analytics in ihrem E-Shop ein. Da die Analytics bereits viele Informationen geliefert hat, stellte sich die Frage, ob Luigi’s Box bei der Nutzung von Luigi’s Box Search ein ebenso verlässlicher Partner bei der Suche bzw. Autovervollständigung wie bei der Analytics sein könnte.

Datart ist sich bewusst, wie wichtig die Suche für seine E-Shops ist und was ihre korrekte oder falsche Einstellung beeinflussen kann. Nicht nur die Kosten sind notwendig, sondern auch der generierte Umsatz, die Conversion-Rate, die Anzahl der abgeschlossenen Käufe oder andere Metriken. Zu einem verantwortungsvollen Vorgehen gehört sicherlich auch das Testen und Überprüfen von Hypothesen. Datart innoviert, was sich in mehreren Bereichen zeigt. Es tut sein Bestes, um die Benutzererfahrung zu verbessern, und verständlicherweise suchen sie nach besseren Lösungen, die den Benutzern helfen und gleichzeitig den Gewinn steigern.

Sie entwickelten ihre Suche intern, und irgendwann musste überprüft werden, ob die externe Suche genauso gut, wenn nicht sogar besser als die interne sein könnte.

Die Bereitstellung eines Tests ist nur wenige Klicks entfernt

Was auch immer wir testen wollen, es ist entscheidend, alles im Voraus durchdacht zu haben. Zum Beispiel Methodik, Vergleichswerte, Durchführbarkeit des Tests oder Bewertungsmethode. Auf der anderen Seite technische Umsetzung, Schwierigkeit und Anforderungen an Entwickler oder technische Spezialisierungen oder Spezifikationen. Der Test kann sowohl auf der Frontend- als auch auf der Backend-Integration ausgeführt werden. Im Fall von Datart war es die kompliziertere, aber komplexere Backend-Integration. Die meisten Kunden sind beruflich und persönlich auf ähnliche Tests vorbereitet, sodass die Bewältigung solcher Aufgaben in der Regel unkompliziert ist.

Datart hat jedoch ein Team von Spezialisten, die keine Aspekte unterschätzt haben und Schritt für Schritt Informationen und Spezifikationen bereitgestellt haben … die erforderlichen Werte angepasst haben, um mit unserem System über die API korrekt zu kommunizieren.

Bereits vor der Durchführung eines A/B-Tests ist eine Reihe von Tests erforderlich, um mögliche Fehler auszuschließen, die das Ergebnis eines solchen Tests erheblich beeinflussen könnten.

Warum ein A/B-Test?

Es gibt viele Möglichkeiten, etwas auszuprobieren oder zu testen. Die erste Möglichkeit besteht darin, eine Lösung durch eine andere zu ersetzen und zu prüfen, ob die neue Lösung effektiver ist. Allerdings ergibt sich hier ein grundsätzliches Risiko. Bei der Größe eines Kunden wie Datart kann sich sogar eine geringfügige Abweichung in niedrigen Prozenteinheiten als erheblicher Gewinnrückgang manifestieren, was für jedes Unternehmen nicht akzeptabel ist.

Sicherer ist aber zunächst der sogenannte Offline-A/B-Test. Vorhandene Suchergebnisse, beispielsweise über einen längeren Zeitraum, werden mit den Ergebnissen verglichen, die das getestete Tool bietet. Wir haben diese Testmethode entwickelt und wenden sie seit langem an, wodurch wir grundsätzlich das Risiko ausschließen, dass eine erneute Suche nach einigen Phrasen schlechtere oder keine Ergebnisse liefert. Dies macht das Testen auch für prominentere Kunden sicherer, wobei bei der Anzahl der Suchen nach einzelnen Phrasen bereits eine geringfügige Abweichung erhebliche Auswirkungen haben kann.

Nach einem Offline-A/B-Test wechseln Kunden reibungslos zu einem „Live“ -Online-A/B-Test. Grundlage ist eine Methodik, bei der einigen Besuchern eine Version und anderen eine andere zugeordnet wird. Das Darstellungsverhältnis der einen und der anderen Lösung wird gewählt, das 50:50 betragen kann. Trotzdem am Anfang zum Beispiel nur 80:20, damit der Kunde sich vergewissern kann, dass die getestete Variante besser oder gleich der Originalvariante ist. Am Ende werden beide Ergebnisse relativ verglichen und wenn die Eingabewerte, zum Beispiel die Anzahl der Sitzungen, signifikant waren, können wir zur Auswertung übergehen.

Das Ergebnis in weniger als zwei Wochen

Würden wir Einzelfälle testen oder hätten wir einen E-Shop mit geringem Traffic, würde der Test zu lange dauern, da die geringen Visits nicht aussagekräftig genug wären. Welche der verglichenen Lösungen der Testsieger ist, lässt sich schlichtweg nicht feststellen.

Manche Kunden testen eine Woche, andere monatelang. In Anbetracht der Größe des Traffics und der Anzahl der Conversions können wir abschätzen, wie lange der Test dauern wird. Anschließend prüfen wir das Ergebnis auf statistische Signifikanz, um das Risiko eines unerwarteten Ergebnisses zu reduzieren. Alles ist immer im Voraus definiert. Damit Anfang und Ende des Tests sowie die verglichenen Metriken und die Methode der Auswertung klar sind. Die Regeln dürfen nicht „während des Spiels“ geändert werden.

In diesem Fall hatten wir genügend Eingabedaten. Daher war es ein gutes Timing und eine gute Auswertung des Tests. Der Test in Datart fand vom 1. bis 12. September 2022 statt. In weniger als zwei Wochen waren die notwendigen Daten gesammelt – und der Test konnte ausgewertet und der Sieger ermittelt werden.

Luigi’s Box als A/B-Testsieger

Der vergleichende A/B-Test wurde auf der tschechischen und slowakischen Version des E-Shops eingesetzt. Beide Tests unterscheiden sich in einigen Werten, da jeder Markt in jedem Land anders bei der Suche arbeitet.

Bei beiden getesteten E-Shops lag das Bereitstellungsverhältnis bei 50:50. Wobei 50 % der Benutzer die Originalversion der Suche erhielten und 50 % die Version mit Luigi’s Box Search.

Die Ergebnisse beider Tests waren gemäß der gewählten Methodik signifikant.

Der wichtigste Vergleichsmesswert war die „Konversionsrate“ – die Konversionsrate von Suchnutzern.

Nach Auswertung der Tests haben wir festgestellt, dass Luigi’s Box Search im Vergleich zur ursprünglichen Suchversion auf beiden Sprachversionen des E-Shops nachweislich besser war.

Auf der slowakischen Version, datart.sk, war die Konversionsrate unserer Lösung um fast 19 % höher im Vergleich zur ursprünglich verwendeten Lösung.

Auf der tschechischen Version, datart.cz, war die Konversionsrate unserer Lösung um etwa 14 % höher im Vergleich zur ursprünglich verwendeten Lösung.

Eine weitere interessante Information ist, dass unsere Lösung falsche Ergebnisse und ergebnislose Suchen für einige Kategorien eliminiert hat. Luigi’s Box kann eine zuverlässige Antwort sein, wenn Sie ein ähnliches Problem mit Relevanz lösen.

Fazit

Die ausgewählten Metriken zeigten, dass die von Luigi’s Box verwendete künstliche Intelligenz und das maschinelle Lernen die Konversionsrate in diesem Fall um 14–19 % steigern konnten. Je nach Segment und Suchstatus kann der Unterschied in der Konversionsrate sogar noch höher sein. Mit der Steigerung der Konversionsrate stieg natürlich auch der Umsatz – das ist der gewünschte Zustand. Nach solchen Testergebnissen überrascht es nicht, dass Datart Luigi’s Box Search als Such- und Autocomplete-Tool für beide getesteten E-Shops verwenden wird.

Dieses Beispiel zeigt deutlich, dass die jahrelange Forschung und Entwicklung unseres Tools einen hohen Mehrwert für den Kunden hat.

Wie unsere Kunden von Luigi's Box profitieren

11teamsports erreichte mit unserer Hilfe einen Anstieg des AOV von 38,46 %

Entdecken sie, wie 11teamsports einen 38,46-prozentigen Anstieg des Warenkorbwertes erreicht hat! Luigi's Box transformierte die Suche für den besten Team-Sportshop Europas.

Fallstudie lesen

Druck.at: +113,51-prozentiger Anstieg der Such Conversion Rate

Sehen Sie sich den beeindruckenden Anstieg in den Such Conversions von druck.at an – 113,51 %! Luigi's Box hat die Suche des erstklassigen Online-Druckanbieters Österreichs revolutioniert.

Fallstudie lesen

Real Dutch Food: 48-prozentige Abnahme von ergebnislosen Suchanfragen

Real Dutch Food senkte die ergebnislosen Suchanfragen um 48%, sodass Kunden ihr Verlangen nach relevanten Ergebnissen sättigen können.

Fallstudie lesen

Gandalf: +9,40% Anstieg des durchschnittlichen Bestellwertes von der Suche

Gandalf.com.pl ist ein polnischer E-Shop mit mehr als 300.000 Büchern, Hörbüchern, E-Books, Musiktiteln, Filmen, Spielen und mehr.

Fallstudie lesen

Pilulka: Anstieg des durchschnittlichen Warenkorbwertes um 4,21 %

Pilulka ist einer der größten Onlineshops in den Bereichen Gesundheit und Medizin in der CEE-Region. Er konzentriert sich auf die qualitative und schnelle Lieferung von Gütern mit einem Umsatz von etwa 3 Milliarden CZK (118 035 883 EUR) im Jahr 2023.

Fallstudie lesen
;