Votre test A/B est-il bidon ?

Simple comme bonjour ?

Tout le monde connaît les tests A/B ; vous avez une version A et une version B et vous voulez savoir laquelle est la meilleure. Vous montrez la version A à certaines personnes et la version B à d’autres. Soit elles aiment la version, soit elles ne l’aiment pas, et la version qui obtient le plus de mentions « j’aime » l’emporte. Plutôt simple, n’est-ce pas ?

Mais à combien de personnes devriez-vous montrer les versions A et B ? 10, 100, 10 000 ? Et si 10 personnes aiment A et 7 personnes aiment B ? Cela signifie-t-il que A est meilleure que B ? Et si vous poursuiviez le test ? Et si la taille de votre échantillon affectait vos résultats ?

Voici un exemple simple. Une entreprise mène une enquête pour évaluer la notoriété de sa marque. 6 personnes sur 10 affirment connaître la marque. Après une campagne publicitaire, l’entreprise mène de nouveau l’enquête. Cette fois, 44 personnes sur 100 affirment connaître la marque. La campagne a-t-elle été efficace ? 60 % contre 44 %, mais la vérité est que — nous ne pouvons pas le dire !

Combien d’entre vous ont mené de telles enquêtes et ont pris des décisions commerciales fondées sur ces dernières ?

Avant de baisser les bras et d’abandonner complètement les tests A/B, il existe un moyen de vérifier vos tests pour voir s’ils sont fiables. Une solution simple est un calculateur de test A/B comme celui -ci :

Il vous suffit de saisir le nombre de participants ayant vu la version A/B et combien d’entre eux l’ont aimée / ont converti. En réponse, il vous indique les chances que la version B soit meilleure que la A, ou vice versa. Il vous fournit également de belles visualisations qui se rapportent apparemment à vos données, bien que vous n’ayez peut-être aucune idée de comment.

Lorsque vous effectuez un test A/B, un utilisateur peut soit cliquer sur le lien, soit ne pas le faire. La réponse est binaire — comme lancer une pièce ; pile ou face, 0 ou 1. Ces variables aléatoires suivent la distribution de Bernoulli avec une espérance mathématique ou moyenne connue et une variance. Ne vous inquiétez pas si ces termes statistiques vous déroutent. L’important est que l’A/B testing possède une « forme » connue qui est entièrement définie par deux paramètres : la moyenne et la variance.

Si vous y réfléchissez, le taux de conversion est la réponse « moyenne » par définition. Le problème est que nous ne connaissons pas la « vraie » moyenne : chaque fois que nous demandons à un nombre X de personnes d’évaluer la variante A/B, la moyenne sera différente. Prenez en compte la taille moyenne des groupes de personnages dans cette image :

En d’autres termes, la moyenne elle-même est une variable aléatoire. Heureusement pour nous, il existe un théorème central limite qui stipule que, quelle que soit la distribution d’origine, sa moyenne suit une distribution normale. Elle est familièrement connue sous le nom de « courbe en cloche », avec la même espérance mathématique et une variance X fois inférieure :

C’est là que la distribution de Bernoulli originale avec son espérance mathématique et sa variance entre en jeu. Le centre de la cloche correspond à l’espérance mathématique. La variance définit la largeur de la cloche. Plus vous interrogez de personnes, plus la cloche devient étroite, ce qui vous donne un taux de conversion plus précis.

Alors, comment comparer les deux cloches ? La théorie indique que pour deux variables aléatoires normalement distribuées, le test t de Student peut être utilisé. Étant donné les distributions, il calcule une certaine valeur qui, si les moyennes sont égales, se situe quelque part dans la distribution t de Student. Si la valeur est « improbable » pour la distribution t de Student, cela signifie que les moyennes ne sont pas égales.

La distribution t de Student ressemble beaucoup à la courbe en cloche, mais ce n’est pas le cas. Le graphique de la distribution de l’amélioration du calculateur devrait en fait être la distribution t de Student :

La frontière entre le rouge et le vert correspond à la valeur calculée. La zone rouge sous la courbe couvre des valeurs plus « extrêmes ». Son aire correspond à la probabilité d’obtenir de telles valeurs si les moyennes sont égales. Plus la valeur est faible, plus elle est « improbable ».

Notez que dans notre cas, sans regarder les données, nous ne pouvons pas suggérer raisonnablement quelle variante, A ou B, est la meilleure. Être « extrême » peut signifier soit dépasser, soit sous-performer :

Selon que vous testez uniquement l’extrémité basse/haute ou les deux, le test est appelé unilatéral ou bilatéral et certains calculateurs de test A/B vous permettent d’exécuter les deux.

Nous avons adopté la solution la plus simple et la plus évidente possible — un calculateur de test A/B. Nous y avons inséré nos données et avons obtenu la réponse. La réponse nous indique si la variante B est meilleure que la A, mais elle nous donne également la certitude en pourcentage, ainsi que de belles représentations visuelles qui servent à la fois d’illustration du résultat et d’explication du raisonnement. Le service est facile à utiliser, et la réponse est à la fois scientifique et agréable à regarder. Il est impossible que la réponse soit fausse, et pourtant le calculateur a « oublié » d’ajouter une autre queue.

En réalité, ce n’est même pas une erreur. Il y a des cas où des tests unilatéraux peuvent être utilisés, mais pas dans celui-ci. Bien que la différence soit souvent négligeable, elle aboutit parfois à une réponse opposée à la question fondamentale d’origine : « La variante B est-elle meilleure que la A ? ».

Comme H. L. Mencken l’a dit un jour : « pour chaque problème complexe, il y a une réponse claire, simple et fausse ». Vous n’avez pas besoin d’être un data scientist pour effectuer des tests A/B. Il existe des calculateurs de test A/Bqui peuvent faire le travail à votre place, mais vous devez comprendre ce que ces calculateurs vous indiquent. Une fois que vous aurez une meilleure compréhension, vous pourrez commencer à créer des tests A/B pertinents.

Maintenant que vous en savez, espérons-le, davantage sur l’évaluation des résultats de test A/B, vous vous précipitez probablement pour effectuer des tests A/B, les évaluer, en faire d’autres, et continuer jusqu’à obtenir une amélioration statistiquement significative pour mon cas d’utilisation. Mais cet instinct serait en réalité erroné.

Prenez le fait de jouer à pile ou face. Vous obtenez pile les 10 premières fois, ce qui est statistiquement significatif. Vous dites alors que c’est bidon qu’il y ait 50 % de chances lorsqu’on joue à pile ou face. Mais continuez et vous obtenez 49 fois sur 100.

Alors, combien de temps devriez-vous exécuter un test ? En d’autres termes, combien d’utilisateurs devriez-vous interroger ? À l’origine, je voulais écrire un autre article de blog, mais il m’est impossible de mieux le formuler que Noah Lorang dans son super article Note technique sur l’A/B testing : déterminer la taille de l’échantillon. Une fois que vous l’aurez compris, créez quelques balises et essayez vous-même l’A/B testing.

Author: Sergey Obukhov Software Developer at Sinch Mailgun