Performance-Optimierung – Sieben Tipps, um mit A/B-Testing durchzustarten

Die Arbeitswelt befindet sich, nicht zuletzt durch die Digitalisierung und technische Innovationen, in regem Wandel. Weg von der Perfektion hin zu einer »Trial-and-Error«- Kultur. Fehler machen, lernen und verbessern. Ein Weg, diese neue Arbeitsweise zur Optimierung seiner Website zu nutzen, ist das »A/B-Testing«.

Nutzer werden verschiedene Versionen von Online-Inhalten ausgespielt und es wird überprüft, welche besser performt. Dabei ist nicht alles so einfach, wie es in der Theorie klingt. Um euer Projekt trotzdem zu einem erfolgreichen Abschluss zu bringen, stellen wir euch sieben Tipps vor, um unnötige Fehler in A/B-Tests zu vermeiden:

Performance-Tipp 1 – Für eine Vergleichbarkeit der Varianten sorgen

Manchmal ist man einfach zur falschen Zeit am falschen Ort. So könnte es auch der vermeintlich besser geeigneten Variante gehen, wenn nicht darauf geachtet wird, wann das Experiment stattfindet. Das Problem: A- und B-Version werden häufig zu unterschiedlichen Zeitpunkten, sprich nacheinander getestet. Doch um ein valides Testergebnis zu erzeugen, bedarf es möglichst kongruenter Rahmenbedingungen. Aber auch Randbedingungen haben einen nicht zu unterschätzenden Einfluss auf das Testergebnis.

Diese externen Faktoren reichen von saisonalen Gegebenheiten wie dem Wetter über bestimmte Wochentage und Tageszeiten, an denen nachweislich mehr promotet wird – sei es auf Wettbewerberseite oder über die eigene Marketingabteilung – bis hin zur Verfügbarkeit bestimmter Produkte und Services oder sogar der allgemeinen Stimmung in den sozialen Netzwerken. Um zu vermeiden, dass dieses Bedingungs-Potpourri den »falschen Sieger« hervorbringt, gilt für A- und B-Test immer zweierlei: Sie sollten gleichzeitig durchgeführt werden. Sie sollten nicht eins zu eins mit den Ergebnissen vergangener Tests verglichen werden.

Performance-Tipp 2 – Evaluationskriterien klug wählen

Oft ist es ein Argument, dass alles Ansichtssache sei. Doch beim Testen ist Relativismus fehl am Platz. Ein wichtiger Teil der Arbeit besteht darin, mit den passenden »overall evaluation criteria« (im Folgenden OEC abgekürzt) die eigene Sicht auf die Ergebnisse zu objektivieren. Gute OEC sind »directionall« und »sensitive«, was sich am besten mit zielgerichtet und sensibel übertragen ließe. Sie sollten also nur indirekt bestimmte Kennzahlen wie beispielsweise die Seitenladezeit adressieren.

Vor allem sorgen OEC dafür, dass das UXD-Team Optimierungspotentiale leichter und schneller erfassen kann. So kommt es, dass OEC zeitlos wirken. Im Alltag sollte man jedoch in regelmäßigen Abständen diskutieren, ob die OEC noch relevant sind oder angepasst werden müssen.

Performance-Tipp 3 – Mutig testen

Geht es um die Änderungen, die an einer Webseite getestet werden, muss es sich nicht immer nur um kleine Nachjustierungen handeln. Es darf ruhig auch mal dramatischer werden. Mitunter wird so aus der Frage »Änderung der Buttonfarbe oder Relaunch?« schon mal die Entscheidung »Änderung der Buttonfarbe und Relaunch«. Oft ist es empfehlenswert, erst einmal sehr unterschiedliche Versionen zu testen und das Setting im Anschluss zu verfeinern.

Performance-Tipp 4 – Iterativ vorgehen

Kleine Schritte können eine große Wirkung haben. Für A/B-Tests bedeutet das, dass iteratives Vorgehen und agile Entwicklung Hand in Hand gehen müssen. Für Webseiten bedeutet das: Ist ein neues Feature entwickelt, sollte es zügig getestet werden. Nur so können Nutzer schnell Feedback geben und Bugs gefixt werden. Dafür sollten die Experimente nicht zu komplex gestaltet werden.

Es ist also nicht nur einfacher, simple Designs zu evaluieren, sondern auch effektiver. Denn bei Experimenten, in denen viele neue Features gleichzeitig getestet werden, ist es schwerer, herauszufiltern, was welchen Effekt hatte.

Performance-Tipp 5 – A/A-Tests durchführen

Um Enttäuschungen zu vermeiden, muss sichergestellt werden, dass verwendete Tools auch wie gewünscht funktionieren. Hierzu werden vor dem A/B-Test zunächst zwei identische Versionen gegeneinander getestet (A/A).

So lassen sich problematische Einflüsse auf die Funktionalität der Tools aufdecken und es kann beispielsweise geprüft werden, ob und in welchem Ausmaß das Test-Tool die Webseite verlangsamt. Denn Tests, die eigentlich der Optimierung gelten sollten, dürfen natürlich im laufenden Betrieb keinen geschäftsschädigenden Effekt auf die Conversionrate zur Folge haben.

Performance-Tipp 6 – Statistische Modelle definieren

Beim A/B-Testen können verschiedene statistische Modelle verwendet werden. Die beiden bekanntesten Ansätze firmieren unter den Stichworten Frequentist-Methods und Bayes-Statistik. Frequentist-Methods (zu deutsch: klassische Signifikanztests) ermessen, welche Variante besser abschneidet. A/B-Tests nach diesen klassischen Statistik-Methoden durchzuführen, bedeutet, die Hypothesen zu definieren und die Stichprobengröße festzulegen. Wiederholte Signifikanztests ohne Stichprobengröße können zu unzuverlässigen Ergebnissen führen – in der Fachsprache Peeking-Problem genannt.

Andere statistische Verfahren, wie etwa die Bayes-Statistik, sind unempfindlicher gegen das Peeking-Problem: Bei der Bayes-Statistik werden bereits bestehende Annahmen anhand neuer Daten aktualisiert. Als Endergebnis erfolgt nicht die Aussage, ob es signifikant ist oder nicht, sondern es lässt sich sagen, welche Variante mit welcher Wahrscheinlichkeit die Verlierervariante ist. Gerade dann, wenn man externe Tools als Software as a Service benutzt, sollte im Vorfeld geklärt werden, welche Methoden die Nutzung impliziert, um die Vor- und Nachteile abzuwägen.

Performance-Optimierung mit A/B-Testing: Tipp 7 – Twyman’s Law beachten

Twyman‘s Law besagt, dass Kennzahlen, die besonders eindeutig aussehen, oft inkorrekt sind. Solche Ergebnisse sind also nie direkt umzusetzen, sondern bedürfen einer weiteren Untersuchung. Das Gute daran: Mit der Skepsis gewinnt man nicht nur neue Erkenntnisse, sondern kommt auch auf neue Hypothesen für neue Tests.

Performance-Optimierung mit dem A/B-Testing-Whitepaper

Um eure Website erfolgreich zu optimieren, muss getestet werden. Unser neues Whitepaper zeigt euch, wie ihr A/B-Testing erfolgreich einsetzt, um die Performance eurer Website zu verbessern.

Die besten Tools für Testing-Profis, die verschiedenen Modelle und wie ihr richtig vorgeht, erfahrt ihr im neuen Whitepaper »A/B-Testing«.

Neben Tools und Tipps geben euch die Best Practice Beispiele wertvolle Einsichten in die Praxis.