O seu teste A/B é uma bobagem?

Fácil demais?

Todo mundo conhece os testes A/B; você tem a versão A e a versão B e quer saber qual é a melhor. Você mostra a versão A para algumas pessoas e a versão B para outras. Elas gostam ou não da versão, e a versão que receber mais curtidas vence. Bem simples, não é?

Mas para quantas pessoas você deve mostrar as versões A e B? 10, 100, 10000? E se 10 pessoas gostarem de A e 7 pessoas gostarem de B? Isso significa que A é melhor que B? E se você continuasse o teste? E se o tamanho da sua amostra afetar seus resultados?

Aqui está um exemplo simples. Uma empresa realiza uma pesquisa para descobrir o reconhecimento da marca. 6 de cada 10 pessoas dizem que conhecem a marca. Após uma campanha publicitária, a empresa realiza a pesquisa novamente. Desta vez, 44 de cada 100 dizem que conhecem a marca. A campanha foi eficaz? 60% vs 44%,  mas a verdade é — não dá para saber!

Quantos de vocês já realizaram essas pesquisas e tomaram decisões de negócios com base nelas?

Antes de jogar as mãos para o alto e desistir totalmente dos testes A/B, há uma maneira de verificar seus testes para ver se são legítimos. Uma solução simples é uma calculadora de teste A/B como esta aqui:

Tudo o que você faz é inserir o número de participantes que viram a versão A/B e quantos deles gostaram / converteram. Em resposta, ela diz as chances da versão B ser melhor do que a A ou vice-versa. Ela também fornece algumas visualizações interessantes que aparentemente se relacionam com seus dados, embora você possa não ter ideia de como.

Quando você executa um teste A/B, um usuário pode clicar no link ou não. A resposta é binária — como jogar uma moeda; cara ou coroa, 0 ou 1. Tais variáveis aleatórias seguem a Distribuição de Bernoulli com um Valor Esperado ou Média e Variância. Não se preocupe se você ficar confuso com esses termos estatísticos. O ponto é que os testes A/B têm uma “forma” conhecida que é totalmente definida por dois parâmetros – média e variância.

Se você pensar bem, a taxa de conversão é a resposta “média” por definição. O problema é que não conhecemos a média “verdadeira”: cada vez que pedimos a uma quantidade X de pessoas para avaliar a variante A/B, a média será diferente. Considere a altura média para grupos de personagens nesta imagem:

Em outras palavras, a própria média é uma variável aleatória. Para a nossa sorte, existe um Teorema do Limite Central que diz que, não importa qual seja a distribuição original, sua média tem uma Distribuição Normal. Ela é informalmente conhecida como uma “curva de sino”, com o mesmo Valor Esperado e a Variância X vezes menor:

É aí que a distribuição original de Bernoulli, com seu Valor Esperado e Variância, entra em jogo. O centro do sino é onde está o Valor Esperado. A Variância define o quão largo o sino será. Quanto mais pessoas você perguntar, mais estreito o sino se torna, dando a você uma taxa de conversão mais precisa.

Então, como você compara os dois sinos? A teoria diz que para duas variáveis aleatórias normalmente distribuídas, o Teste t de Student pode ser usado. Dadas as distribuições, ele calcula um certo valor que, se as médias forem iguais, cai em algum lugar dentro da Distribuição t de Student. Se o valor for “improvável” para a distribuição t de Student, isso significa que as médias não são iguais.

A distribuição t de Student se parece muito com a curva de sino, mas não é. O gráfico de Distribuição de Melhoria da calculadora deveria ser, na verdade, a distribuição t de Student:

A fronteira entre o vermelho e o verde corresponde ao valor calculado. A área vermelha sob a curva cobre valores mais “extremos”. Sua área é a probabilidade de obter tais valores se as médias forem iguais. Quanto menor o valor, mais “improvável” ele é.

Note que, no nosso caso, sem olhar para os dados, não podemos sugerir de forma razoável qual variante – A ou B – é melhor. Ser “extremo” pode significar tanto exceder quanto ter um desempenho inferior:

Dependendo se você testa apenas para a extremidade inferior/superior ou ambas, o teste é chamado de unilateral ou bilateral e algumas calculadoras de teste A/B permitem que você execute ambos.

Nós pegamos a solução mais simples e óbvia possível — uma calculadora de teste A/B. Colocamos nossos dados e obtivemos a resposta. A resposta nos diz se a variante B é melhor do que a A, e também nos dá a certeza em porcentagens, bem como alguns visuais interessantes que servem tanto como uma ilustração do resultado quanto como uma explicação do processo de pensamento. O serviço é fácil de usar, e a resposta é tanto científica quanto agradável de ver. Não há como a resposta estar errada, mas a calculadora “esqueceu” de adicionar outra cauda.

Na verdade, não é nem um erro. Existem casos em que testes unilaterais podem ser usados, mas não neste. Embora a diferença seja muitas vezes insignificante, às vezes ela resulta na resposta oposta à pergunta fundamental original: “A variante B é melhor que a A?”.

Como H. L. Mencken disse uma vez, “para todo problema complexo existe uma resposta clara, simples e errada”. Você não precisa ser um cientista de dados para executar testes A/B. Existem calculadoras de teste A/Bque podem fazer coisas por você, mas você precisa entender o que as calculadoras estão lhe dizendo. Quando você tiver um melhor entendimento, poderá começar a criar testes A/B com substância.

Agora que você sabe, espero eu, mais sobre como avaliar resultados de teste A/B, provavelmente está correndo para fazer alguns testes A/B, avaliar, fazer mais alguns e continuar até obter uma melhoria estatisticamente significativa para o meu caso de uso. Mas esse instinto na verdade estaria errado.

Considere jogar uma moeda. Você tira coroa nas primeiras 10 vezes, o que é estatisticamente significativo. Então você diz que é besteira que haja 50% de chance ao jogar uma moeda. Mas continue e você obterá 49 em 100.

Então, por quanto tempo você deve executar um teste? Em outras palavras, a quantos usuários você deve perguntar? Originalmente, eu queria escrever outro post de blog, mas não há como eu colocar isso de forma melhor do que Noah Lorang em seu incrível artigo Nota Técnica de Testes A/B: determinando o tamanho da amostra. Assim que você descobrir isso, crie algumas tags e experimente alguns testes A/B por si mesmo.

Author: Sergey Obukhov Software Developer at Sinch Mailgun