Ist Ihr A/B-Test Schwachsinn?

Kinderleicht?

Jeder kennt A/B-Tests; Sie haben Version A und Version B und möchten wissen, welche besser ist. Sie zeigen einigen Leuten Version A und anderen Version B. Entweder gefällt ihnen die Version oder nicht, und die Version mit den meisten Likes gewinnt. Ziemlich einfach, oder?

Aber wie vielen Leuten sollten Sie die Versionen A und B zeigen? 10, 100, 10000? Was ist, wenn 10 Personen A mögen und 7 Personen B? Bedeutet das, dass A besser als B ist? Was wäre, wenn Sie den Test fortsetzen würden? Was ist, wenn Ihre Stichprobengröße Ihre Ergebnisse beeinflusst?

Hier ist ein einfaches Beispiel. Ein Unternehmen führt eine Umfrage durch, um die Markenbekanntheit zu ermitteln. 6 von 10 Personen geben an, die Marke zu kennen. Nach einer Werbekampagne führt das Unternehmen die Umfrage erneut durch. Dieses Mal geben 44 von 100 an, die Marke zu kennen. War die Kampagne effektiv? 60 % vs. 44 %,  aber die Wahrheit ist: Wir können es nicht sagen!

Wie viele von Ihnen haben solche Umfragen durchgeführt und darauf basierend Geschäftsentscheidungen getroffen?

Bevor Sie die Hände in die Luft werfen und A/B-Tests gänzlich aufgeben, gibt es eine Möglichkeit, Ihre Tests zu überprüfen, um zu sehen, ob sie legitim sind. Eine einfache Lösung ist ein A/B-Test-Rechner wie dieser hier:

Alles, was Sie tun müssen, ist die Anzahl der Teilnehmer einzugeben, die Version A/B gesehen haben, und wie vielen sie gefallen hat / wie viele konvertiert sind. Als Antwort erhalten Sie die Wahrscheinlichkeit, dass Version B besser ist als A oder umgekehrt. Außerdem erhalten Sie einige schöne Visualisierungen, die sich offensichtlich auf Ihre Daten beziehen, obwohl Sie vielleicht keine Ahnung haben, wie.

Wenn Sie einen A/B-Test durchführen, kann ein Nutzer entweder auf den Link klicken oder nicht. Die Antwort ist binär – wie beim Werfen einer Münze; Kopf oder Zahl, 0 oder 1. Solche Zufallsvariablen folgen der Bernoulli-Verteilung mit einem bekannten Erwartungswert oder Durchschnitt und einer Varianz. Machen Sie sich keine Sorgen, wenn Sie von diesen statistischen Begriffen verwirrt sind. Der Punkt ist, dass A/B-Tests eine bekannte „Form“ haben, die vollständig durch zwei Parameter definiert ist – Durchschnitt und Varianz.

Wenn Sie darüber nachdenken, ist die Konversionsrate per Definition die „durchschnittliche“ Antwort. Das Problem ist, dass wir den „wahren“ Durchschnitt nicht kennen: Jedes Mal, wenn wir X Personen bitten, die Variante A/B zu bewerten, wird der Durchschnitt anders sein. Betrachten Sie die durchschnittliche Körpergröße für Gruppen von Charakteren auf diesem Bild:

Mit anderen Worten, der Durchschnitt selbst ist eine Zufallsvariable. Zum Glück gibt es für uns den Zentralen Grenzwertsatz , der besagt, dass, ganz gleich, wie die ursprüngliche Verteilung aussieht, ihr Durchschnitt eine Normalverteilung. aufweist. Diese wird informell als „Glockenkurve“ bezeichnet, mit demselben Erwartungswert und einer X-mal geringeren Varianz:

Hier kommt die ursprüngliche Bernoulli-Verteilung mit ihrem Erwartungswert und ihrer Varianz ins Spiel. Die Mitte der Glocke liegt dort, wo sich der Erwartungswert befindet. Die Varianz definiert, wie breit die Glocke sein wird. Je mehr Leute Sie fragen, desto schmaler wird die Glocke, was Ihnen eine genauere Konversionsrate liefert.

Wie vergleicht man also die beiden Glocken? Die Theorie besagt, dass für zwei normalverteilte Zufallsvariablen der Studentsche t-Test verwendet werden kann. Anhand der Verteilungen wird ein bestimmter Wert berechnet, der bei gleichen Durchschnitten irgendwo in die Studentsche t-Verteilung. fällt. Wenn der Wert für die Studentsche t-Verteilung „unwahrscheinlich“ ist, bedeutet dies, dass die Durchschnitte nicht gleich sind.

Die Studentsche t-Verteilung sieht der Glockenkurve sehr ähnlich, ist es aber nicht. Das Diagramm zur Verbesserungsverteilung des Rechners sollte eigentlich die Studentsche t-Verteilung sein:

Die Grenze zwischen Rot und Grün entspricht dem berechneten Wert. Der rote Bereich unter der Kurve deckt „extremere“ Werte ab. Ihre Fläche ist die Wahrscheinlichkeit, solche Werte zu erhalten, wenn die Durchschnitte gleich sind. Je kleiner der Wert, desto „unwahrscheinlicher“ ist es.

Beachten Sie, dass wir in unserem Fall, ohne uns die Daten anzusehen, nicht vernünftigerweise vermuten können, welche Variante – A oder B – besser ist. „Extrem“ zu sein kann entweder übertreffen oder unterdurchschnittlich abschneiden bedeuten:

Je nachdem, ob Sie nur auf das untere/obere Ende oder auf beides testen, wird der Test ein- oder zweiseitig  genannt, und einige A/B-Test-Rechner ermöglichen es Ihnen, beides durchzuführen.

Wir haben die einfachste und naheliegendste Lösung gewählt, die möglich ist – einen A/B-Test-Rechner. Wir haben unsere Daten eingegeben und die Antwort erhalten. Die Antwort sagt uns, ob Variante B besser als A ist, gibt uns aber auch die Gewissheit in Prozent sowie einige schöne visuelle Darstellungen, die sowohl der Veranschaulichung des Ergebnisses als auch der Erklärung des Gedankengangs dienen. Der Dienst ist einfach zu bedienen und die Antwort ist sowohl wissenschaftlich als auch schön anzusehen. Es ist unmöglich, dass die Antwort falsch sein könnte, dennoch „vergaß“ der Rechner, eine weitere Seite (Tail) hinzuzufügen.

Eigentlich ist es nicht einmal ein Fehler. Es gibt Fälle, in denen einseitige Tests verwendet werden können, aber nicht in diesem. Während der Unterschied oft vernachlässigbar ist, führt er manchmal zur entgegengesetzten Antwort auf die grundlegende Ausgangsfrage: „Ist Variante B besser als A?“.

Wie H. L. Mencken einmal sagte: „Für jedes komplexe Problem gibt es eine Antwort, die klar, einfach und falsch ist“. Sie müssen kein Datenwissenschaftler sein, um A/B-Tests durchzuführen. Es gibt A/B-Test-Rechner, die Ihnen Arbeit abnehmen können, aber Sie müssen verstehen, was die Rechner Ihnen sagen. Sobald Sie ein besseres Verständnis haben, können Sie anfangen, A/B-Tests mit Substanz zu erstellen.

Jetzt, da Sie hoffentlich mehr über die Bewertung von A/B-Test-Ergebnissen wissen, werden Sie wahrscheinlich loslaufen, um einige A/B-Tests durchzuführen, sie zu bewerten, weitere zu machen und so lange fortzufahren, bis Sie eine statistisch signifikante Verbesserung für meinen Anwendungsfall erzielen. Aber dieser Instinkt wäre tatsächlich falsch.

Denken Sie an den Wurf einer Münze. Sie erhalten die ersten 10 Mal Zahl, was statistisch signifikant ist. Also sagen Sie, es sei Schwachsinn, dass beim Werfen einer Münze eine Chance von 50 % besteht. Aber machen Sie weiter und Sie erhalten 49 von 100.

Wie lange sollten Sie also einen Test durchführen? Mit anderen Worten, wie viele Nutzer sollten Sie fragen? Ursprünglich wollte ich einen weiteren Blogbeitrag schreiben, aber ich könnte es keinesfalls besser formulieren als Noah Lorang in seinem großartigen Artikel A/B-Tests – Tech Note: Bestimmung der Stichprobengröße. Sobald Sie das herausgefunden haben, erstellen Sie einige Tags und probieren Sie A/B-Tests selbst aus.

Author: Sergey Obukhov Software Developer at Sinch Mailgun