A/B-Testing
Die meist gestellten Fragen und Antworten
Was ist A/B-Testing
A/B-Testing (auch als Split-Testing bekannt) ist eine Methode zum Vergleich mindestens zweier Versionen einer Website oder App, um zu ermitteln, welche Version eine bessere Leistung in Bezug auf die Erreichung zuvor definierter Website-Ziele (Conversions) durch die Nutzer*innen erzielt.
Warum A/B-Testing?
Ihre Mitarbeiter*innen und Sie können bisher nur Vermutungen darüber anstellen, wie Nutzer*innen auf eine bestimmte Gestaltung Ihrer Website oder App reagieren. A/B-Testing bietet Ihnen die Möglichkeit, Teilen Ihrer Besucher*innen zwei oder mehr Versionen der gleichen Seite oder App separat auszuspielen und den Effekt der Gestaltung auf die Erreichung zuvor definierter Website-Ziele (Conversions) zu messen und zu vergleichen. Anhand der Ergebnisse können Sie dann bestimmen, welche Variante besser funktioniert, also besser konvertiert, und ausgespielt werden soll. Ein kontinuierliches Testen und Optimieren Ihrer Website basierend auf den Testergebnissen trägt dazu bei, Ihre Website-Ziele (z.B. Zahl der Verkäufe, Spenden, Leads, Registrierungen, Downloads, nutzer*innengenerierter Inhalte, Umsatzvolumen) zu steigern und liefert zugleich wertvolle Erkenntnisse hinsichtlich des Besucher*innenverhaltens.
A/B-Testing ermöglicht zudem einen Vergleich der Wirkungen unterschiedlicher Preise, Werbemaßnahmen und ähnlicher Faktoren.
Wie funktioniert A/B-Testing?
Beim A/B-Testing testen Sie mit Live-Traffic zwei oder mehr Versionen einer Website – z.B. Version A (Original) und Version B (Variante) – und messen den Effekt der einzelnen Versionen auf die sog. Conversion Rate, also die prozentuale Erzielung eines Website-Ziels gemessen am Gesamt-Traffic, der die Version gesehen hat. Sobald genügend Besucher*innen den Test durchlaufen haben und die Ergebnisse statistisch signifikant sind, wird der Test beendet und eine Gewinnervariante quantitativ anhand der Testergebnisse bestimmt.
Wenn Sie einen A/B-Test ausführen möchten, müssen Sie zunächst ein oder mehrere Ziele für Ihre Website oder App definieren, auf die sich die jeweilige Conversion Rate im Test bezieht. Die Variante mit der besten Zielerreichung wird im Anschluss dauerhaft implementiert.
Mit gezielten Tests setzen Sie Geschmacks- und Gefühlsentscheidungen bei der Optimierung Ihrer Website ein Ende und treffen stattdessen datengestützte Entscheidungen. „Wir glauben …“ gehört der Vergangenheit an, in Zukunft heißt es „Wir wissen …“.
Welches A/B-Testing Tool sollte ich verwenden?
Wenn es um A/B-Testing geht, steht jede*r Optimierer*in über kurz oder lang vor der Tool-Frage. Die Anzahl an Optimierungslösungen auf dem deutschen Markt hat sich in den letzten Jahren vervielfacht. Sie sollten daher Zeit darauf verwenden, eine zu Ihrem Bedarf passende Lösung auszuwählen oder einen unabhängigen Service damit beauftragen.
A/B-Tests vs. multivariates Testing
Das A/B-Testing wird auch Split-Testing genannt und teilt während der Testphase die Nutzer*innen der Website bzw. App in zwei oder mehr Untergruppen auf. Ebenso gibt es zwei oder mehr Versionen der zu testenden Website oder App, das Original und die Variante(n). Während des Tests werden bspw. in einem 50%/50%-Split Test 50% der Nutzer*innen (Gruppe A) auf die Originalseite und 50% (Gruppe B) auf eine Variante gelenkt und die in den jeweiligen Gruppen erzielten Conversion Rates in Bezug auf das relevante Website-Ziel verglichen.
Multivariates Testing ist neben A/B-Testing eine weitere Methode zur Optimierung der Website im Hinblick auf eine Maximierung der Conversion Rate. Während beim A/B-Testing lediglich zwei oder mehr verschiedene Website-Varianten verglichen werden, werden beim multivariaten Testing mehrere Variablen einer Seite gleichzeitig verändert und die Varianten einander gegenübergestellt. Ziel ist es, durch multivariates Testing herauszufinden, durch welche Variablenkombinationen die höchste Steigerung der Conversion Rate erzielt werden kann.
Iteratives vs. Innovatives A/B Testing
Iteratives Testing bezeichnet das sequenzielle Testen von geringfügigen Änderungen wie:
- Farbänderung einer Schaltfläche
- Änderung der Platzierung eines Call to Action Buttons
- Änderung des Wortlauts einer Überschrift
- Änderung eines Bildes oder seiner Skalierung
Für iterative Tests stellt sich zunächst die Frage, ob ausreichend Traffic und Conversions vorhanden sind, um bei lediglich kleinen Änderungen statistisch signifikante Ergebnisse in Bezug auf die Conversion Rate(s) zu erreichen. Fragestellungen sind dabei meist von der Natur: „Kann ich einfach die Farbe, Überschrift oder das Bild des Buttons ändern, um die Conversion Rate signifikant zu erhöhen?“ Für Websites oder Apps mit geringem bis mittlerem Traffic- und Conversion-Niveau lautet die Antwort auf diese Frage leider oft „Nein!“.
Iterative Tests sind dann am ehesten geeignet, wenn Sie monatlich eine erhebliche Menge an Conversions für ein Asset erzielen, da es sonst zu lange dauern würde, um zu einem statistisch signifikanten Ergebnis zu gelangen. Wenn Sie sechs Monate oder länger brauchen, um eine ausreichende Anzahl an Conversions zu generieren, kann sich die Art Ihres Traffic (z.B. durch Saisonalitäten oder werbliche Aktivitäten) so stark ändern, dass dies den Test beeinflusst.
Iterative Tests generieren Quick Wins. Sie sind einfach zu implementieren und mit der richtigen Menge an Nutzer*innenaufkommen können Sie zahlreiche Conversion-Punkte für die gesamte Website-Plattform testen. Darüber hinaus ist es im Allgemeinen problemlos möglich, die Erkenntnisse auf ähnliche Seiten zu übertragen und entsprechend zu implementieren, wenn Sie mit diesen Tests Gewinnervarianten identifizieren.
Wenn zum Beispiel eine Änderung der Farbe der Schaltfläche „Zum Warenkorb hinzufügen“ auf einer Produktseite zu einem 3% Anstieg der E-Commerce-Verkäufe führt, sollte die Änderung auch auf anderen Produktseiten Ihrer Website implementiert werden, auf denen diese Schaltfläche ebenfalls verwendet wird.
Auf der anderen Seite des A/B-Testspektrums stehen innovative Tests. Anstatt eine einfache Änderung an einem einzelnen Element auf der Seite vorzunehmen, versuchen innovative Tests, Conversion Rates mittels größerer konzeptueller Änderungen zu steigern. Der Zweck eines innovativen Tests besteht darin, zu sehen, ob eine radikale Änderung zu größeren Conversion-Gewinnen führt.
Welche Testart ist für mich am besten?
Die Auswahl der für Sie am geeignetsten Testart ist abhängig von Ihrem Traffic und Ihren Zielen. Bei häufigen iterativen Tests können Sie kleinere Zuwächse von 1-4% , gelegentlich auch höhere Conversion-Steigerungen identifizieren.
Mit innovativen Tests können die Conversion-Steigerungen wesentlich höher sein als bei kleinen iterativen Tests. Allerdings ist die Anstrengung, dorthin zu gelangen, auch größer. Da Sie ggf. komplette Bereiche Ihrer Website oder App vollständig neu gestalten müssen, ist der zeitliche Aufwand für die Einrichtung der Tests höher. Es ist nicht ungewöhnlich, dass innovative Tests einen Anstieg von 10-25% oder manchmal sogar mehr generieren, sodass sie wirklich bahnbrechend in Bezug auf ihre Auswirkungen auf die Lead-Erfassung oder Kund*innenumwandlung sein können. Die Gefahr eines nicht erfolgreichen Tests ist jedoch auch höher. Die Herausforderung bei innovativen A/B-Tests besteht darin, dass es meist nicht möglich ist, genau zu wissen, welche Änderung oder Kombination von Änderungen den Anstieg der Conversion Rate tatsächlich ausgelöst haben.
