A/B-Tests richtig aufsetzen und auswerten: Anleitung in 8 Schritten

A/B-Tests vergleichen zwei Varianten einer Seite, einer E-Mail oder einer Anzeige, indem sie jeweils einer Hälfte der Besucher gezeigt werden. Die Variante, die dein vorab festgelegtes Ziel besser erreicht, gewinnt. Damit das Ergebnis belastbar ist, brauchst du eine Hypothese, eine Messgröße, genug Besuche und Geduld.

Diese Anleitung führt dich in acht Schritten von der Idee bis zur Auswertung. Du bekommst konkrete Formulierungen für die Hypothese, Regeln für die Laufzeit und eine Vorlage zum Dokumentieren.

Der häufigste Fehler bei A/B-Tests ist nicht die Technik, sondern die Eile: Wer zu früh abbricht oder mehrere Dinge gleichzeitig ändert, lernt nichts. Mit den Schritten unten vermeidest du das und machst deine A/B-Tests von Anfang an auswertbar.

Was sind A/B-Tests?

A/B-Tests sind eine Testmethode, bei der die Originalversion gegen eine leicht veränderte Variante antritt. Besucher werden zufällig auf beide verteilt, und eine vorab definierte Kennzahl entscheidet, welche Version besser abschneidet. Wichtig ist, dass sich beide Versionen nur in einem Punkt unterscheiden.

Diese Beschreibung deckt sich mit der Darstellung auf Wikipedia zum A/B-Test: Die Zielgruppe wird zufällig aufgeteilt, und nur eine Variable wird verändert, damit sich Unterschiede dieser Änderung zuordnen lassen.

Typische Einsatzfelder sind Überschriften, Schaltflächen, Formulare, E-Mail-Betreffzeilen, Preise oder Bilder. Alles, was du messen kannst und was Besucher sehen, lässt sich grundsätzlich testen.

Was A/B-Tests nicht können

Ein Test beantwortet nur die Frage, die du stellst. Er sagt dir, welche Version besser ist, aber nicht, warum. Er ersetzt weder Gespräche mit Kunden noch eine klare Strategie. Und er braucht genügend Besuche: Auf Seiten mit wenig Verkehr dauert ein Test sehr lange oder liefert keine klare Antwort.

Vorbereitung: Wann sich A/B-Tests lohnen

Nicht jede Änderung braucht einen Test. A/B-Tests sind ein Werkzeug für Entscheidungen, bei denen du dir wirklich unsicher bist. Prüfe vorab, ob die Voraussetzungen stimmen, sonst verschwendest du Zeit.

• Genug Besuche: Die Seite oder E-Mail erreicht regelmäßig so viele Menschen, dass ein Unterschied sichtbar werden kann.
• Funktionierende Messung: Die Zielhandlung wird zuverlässig erfasst.
• Klares Ziel: Du weißt, welche Handlung du verbessern willst.
• Beweglicher Hebel: Du kannst die Variante tatsächlich bauen und ausspielen.
• Bereitschaft zu lernen: Du akzeptierst, dass die Variante auch verlieren darf.

Wenn deine Seite noch grundlegende Mängel hat, behebe sie zuerst. Die Landingpage-Checkliste hilft dir, offensichtliche Fehler zu finden, die du nicht testen musst. Ein defektes Formular wird repariert, nicht getestet.

Prioritäten setzen: Was zuerst getestet wird

Meist hast du mehr Ideen als Besucher. Bewerte jede Idee nach drei Fragen, und beginne mit der, die in der Summe am besten abschneidet.

• Wirkung: Wie stark könnte die Änderung die Zielhandlung beeinflussen?
• Aufwand: Wie schnell und günstig lässt sich die Variante bauen?
• Sicherheit: Wie gut stützen Daten oder Beobachtungen deine Vermutung?

Eine Idee mit hoher Wirkung, geringem Aufwand und guter Datenlage kommt zuerst. Eine Idee, die nur auf einem Bauchgefühl beruht und viel Aufwand kostet, wartet. Auf diese Weise gehen A/B-Tests nicht in Beliebigkeit unter.

A/B-Tests aufsetzen in 8 Schritten: der Überblick

1. Problem und Zielhandlung bestimmen.
2. Hypothese formulieren.
3. Messgröße und Erfolgsgrenze festlegen.
4. Variante bauen, die sich in genau einem Punkt unterscheidet.
5. Stichprobe und Laufzeit planen.
6. Test starten und Technik prüfen.
7. Test laufen lassen, ohne zu unterbrechen.
8. Ergebnis auswerten, dokumentieren und Entscheidung treffen.

Schritt 1 bis 3 bei A/B-Tests: Problem, Hypothese, Messgröße

Schritt 1: Problem und Zielhandlung bestimmen

Beginne mit einer Beobachtung, nicht mit einer Idee. Etwa: „Viele Besucher erreichen das Formular, aber nur wenige schicken es ab.“ Dieses Problem lenkt deinen Test auf das Formular und nicht auf die Farbe eines Buttons.

Quellen für gute Testideen sind Auswertungen deiner Zahlen, Kundenfragen, Rückmeldungen aus dem Vertrieb und das, was du bei Nutzern beobachtest.

Schritt 2: Hypothese formulieren

Eine Hypothese ist eine überprüfbare Vermutung mit Begründung. Nutze dieses Muster zum Übernehmen:

„Wenn wir [Änderung], dann steigt [Kennzahl], weil [Begründung].“

• Schwach: „Ein grüner Button ist besser.“
• Stark: „Wenn wir im Formular statt sieben nur drei Felder abfragen, steigt die Zahl der Absendungen, weil weniger Aufwand die Hürde senkt.“

Die Begründung ist wichtig. Sie entscheidet darüber, was du aus dem Ergebnis lernst, auch wenn die Variante verliert.

Schritt 3: Messgröße und Erfolgsgrenze festlegen

Lege vor dem Start fest, woran du den Gewinner erkennst. Wähle eine Hauptkennzahl, etwa die Absenderate eines Formulars, und höchstens zwei Nebenkennzahlen, um Nebenwirkungen zu erkennen.

• Die Hauptkennzahl entscheidet über Sieg oder Niederlage.
• Die Nebenkennzahlen warnen, wenn eine Variante zwar mehr Klicks, aber schlechtere Anfragen bringt.
• Die Erfolgsgrenze legt fest, ab welchem Unterschied sich eine Änderung lohnt.

Wie du Kennzahlen sauber erfasst, zeigt die Anleitung zu Google Analytics 4. Prüfe vor dem Start, dass die Zielhandlung ankommt.

Schritt 4 und 5 bei A/B-Tests: Variante und Stichprobe

Schritt 4: Die Variante bauen

Ändere genau ein Element, damit du den Unterschied zuordnen kannst. Das kann eine Überschrift sein, die Reihenfolge von Abschnitten oder ein Formular mit weniger Feldern. Wenn du mehrere Dinge gleichzeitig änderst, weißt du hinterher nicht, was gewirkt hat.

Teste die Variante vorher auf verschiedenen Geräten. Eine Variante, die auf dem Smartphone kaputt aussieht, verfälscht das Ergebnis.

Ideen für den ersten Test

Wenn du noch keine Hypothese hast, helfen diese bewährten Ansatzpunkte. Wähle einen aus und formuliere daraus eine Hypothese nach dem Muster oben.

• Die Überschrift nennt den Nutzen statt des Produktnamens.
• Der Button beschreibt die Handlung, etwa „Termin buchen“ statt „Absenden“.
• Das Formular fragt weniger Felder ab.
• Ein Beleg, etwa eine Kundenstimme, steht näher am Handlungsaufruf.
• Die E-Mail-Betreffzeile nennt einen konkreten Vorteil.

Schritt 5: Stichprobe und Laufzeit planen

Plane vor dem Start, wie viele Besuche du brauchst und wie lange der Test dauert. Die nötige Zahl hängt von drei Dingen ab: wie hoch deine aktuelle Quote ist, wie groß der Unterschied sein soll, den du erkennen willst, und wie sicher du sein willst. Viele Testwerkzeuge und Rechner im Netz helfen dir bei der Berechnung.

• Je kleiner der erwartete Unterschied, desto mehr Besuche brauchst du.
• Lass den Test mindestens volle Wochen laufen, damit Wochentagseffekte ausgeglichen werden.
• Lege das Ende fest, bevor du startest, und halte dich daran.

Hast du wenig Verkehr, teste größere Änderungen mit erwartbar großer Wirkung oder nutze qualitative Methoden wie Nutzerinterviews.

Schritt 6 und 7 bei A/B-Tests: Starten und laufen lassen

Schritt 6: Test starten und Technik prüfen

Starte den Test und prüfe in den ersten Stunden, ob alles richtig läuft. Die Verteilung sollte zufällig sein, beide Varianten sollten Besuche erhalten, und die Zielhandlung muss in beiden gezählt werden.

• Rufe beide Varianten selbst auf und löse die Zielhandlung aus.
• Prüfe, ob die Besucher ungefähr gleichmäßig verteilt werden.
• Kontrolliere, dass dieselbe Person nicht beide Varianten sieht.
• Schließe eigene Besuche und Tests aus, soweit möglich.

Schritt 7: Test laufen lassen, ohne zu unterbrechen

Das ist der schwerste Schritt. Nach zwei Tagen liegt oft eine Variante vorn, und der Drang, den Test zu beenden, ist groß. Widerstehe ihm. Frühe Ergebnisse schwanken stark und kehren sich oft um.

Ändere während des Tests nichts an den Varianten, an den Zielgruppen oder an laufenden Kampagnen, die die Besuche beeinflussen. Notiere äußere Ereignisse wie Feiertage, Aktionen oder technische Störungen. Sie helfen dir bei der Einordnung des Ergebnisses.

Typische Störfaktoren während des Tests

Auch ein sauber geplanter Test kann durch äußere Einflüsse verzerrt werden. Behalte diese Punkte im Blick und notiere sie im Testprotokoll.

• Eine zeitgleiche Anzeigenkampagne bringt anderes Publikum auf die Seite.
• Feiertage, Ferien oder Aktionen verändern das Verhalten der Besucher.
• Technische Störungen betreffen nur eine der beiden Varianten.
• Eine Änderung an der Seite außerhalb des Tests verändert die Ausgangslage.

Schritt 8: A/B-Tests auswerten

Erst wenn die geplante Laufzeit und Besucherzahl erreicht sind, schaust du auf das Ergebnis. Beantworte diese Fragen in dieser Reihenfolge:

1. Wurden Laufzeit und Stichprobe wie geplant erreicht?
2. Gab es technische Probleme oder äußere Störungen?
3. Wie unterscheiden sich die Hauptkennzahlen der Varianten?
4. Ist der Unterschied statistisch belastbar, laut Testwerkzeug?
5. Ist der Unterschied groß genug, um die Änderung zu rechtfertigen?
6. Was zeigen die Nebenkennzahlen?

Statistische Signifikanz richtig lesen

Statistische Signifikanz beschreibt, wie unwahrscheinlich ein beobachteter Unterschied wäre, wenn nur der Zufall im Spiel wäre. Ein signifikantes Ergebnis ist kein Beweis, aber ein Hinweis, dass der Unterschied nicht bloß Zufall ist. Mindestens genauso wichtig ist die Größe des Effekts: Ein winziger, aber signifikanter Unterschied kann praktisch bedeutungslos sein.

Vorsicht bei Teilgruppen

Verlockend ist der Blick in Teilgruppen, etwa Mobilgeräte, bestimmte Kanäle oder neue Besucher. Dort sieht man oft Unterschiede, die nur Zufall sind, weil jede Teilgruppe weniger Besuche hat. Nutze solche Auswertungen als Anregung für den nächsten Test, nicht als Beweis.

Bei A/B-Tests gilt: Eine Auffälligkeit in einer Teilgruppe wird erst dann zur Erkenntnis, wenn du sie in einem eigenen Test bestätigst.

Entscheidung und Dokumentation

Triff nach der Auswertung eine von drei Entscheidungen: Variante übernehmen, Original behalten oder mit neuer Hypothese erneut testen. Auch ein verlorener Test liefert Wissen, nämlich dass deine Annahme nicht stimmt.

Halte das Ergebnis fest, zum Beispiel in dieser Vorlage:

• Datum, Seite und Testdauer
• Problem und Hypothese
• Varianten mit Beschreibung oder Screenshot
• Hauptkennzahl und Ergebnis beider Varianten
• Entscheidung und Begründung
• Nächster Test oder offene Fragen

Typische Fehler bei A/B-Tests

• Zu früh abbrechen: Du siehst nach wenigen Tagen einen Gewinner und beendest den Test.
• Mehrere Änderungen gleichzeitig: Du weißt nicht, was gewirkt hat.
• Keine Hypothese: Du testest, weil du Ideen hast, nicht weil du etwas lernen willst.
• Zu wenig Besuche: Das Ergebnis ist Zufall, aber du hältst es für ein Muster.
• Zu viele Tests auf einmal: Mehrere Tests auf derselben Seite beeinflussen sich gegenseitig.
• Ergebnis nicht dokumentiert: Nach einem Jahr testest du dasselbe noch einmal.

Ein Beispiel aus dem Alltag

Stell dir ein Team vor, das einen Newsletter versendet. Es vermutet, dass eine Betreffzeile mit konkretem Nutzen häufiger geöffnet wird als eine allgemeine. Es teilt die Empfängerliste zufällig in zwei Hälften und sendet beide Betreffs zur gleichen Zeit.

Als Hauptkennzahl legt das Team die Öffnungsrate fest und prüft nebenbei die Klicks im Newsletter. Weitere Hinweise zum Kanal findest du im Beitrag zum Newsletter-Marketing.

Wie viele Tests sind sinnvoll?

Weniger, als du denkst. Ein Test pro Seite und Zeitraum reicht, damit sich Ergebnisse nicht gegenseitig beeinflussen. Plane lieber eine feste Abfolge: Test, Auswertung, Umsetzung, nächster Test. Mit diesem Rhythmus werden A/B-Tests zu einer Routine statt zu einem Einzelprojekt.

Ein Monatsplan hilft dir dabei. Trage ein, welche Seite wann getestet wird, wer die Auswertung übernimmt und wann die Entscheidung fällt. So bleibt der Überblick auch dann erhalten, wenn mehrere Personen testen.

Fazit

A/B-Tests liefern verlässliche Antworten, wenn du sie wie ein kleines Experiment behandelst: erst die Hypothese, dann die Messgröße, dann der Test mit fester Laufzeit. Wer diese Reihenfolge einhält, gewinnt auch aus verlorenen Tests Erkenntnisse.

Starte klein: Wähle eine Seite mit genügend Besuchen, formuliere eine Hypothese und teste ein einziges Element. Dokumentiere das Ergebnis und plane den nächsten Test. So entsteht aus einzelnen A/B-Tests nach und nach ein belastbares Wissen über deine Zielgruppe.

Häufige Fragen zu A/B-Tests