IT & Engineering
¿Es tu test A/B una tontería?
¿Pan comido?
Todo el mundo conoce los test A/B; tienes la versión A y la versión B y quieres saber cuál es mejor. A algunas personas les muestras la versión A y a otras la versión B. O les gusta la versión o no, y la que consiga más «me gusta» gana. Bastante sencillo, ¿verdad?
Pero ¿a cuántas personas deberías mostrar las versiones A y B? ¿10, 100, 10 000? ¿Qué pasa si a 10 personas les gusta A y a 7 les gusta B? ¿Significa eso que A es mejor que B? ¿Y si continuaras el test? ¿Y si el tamaño de tu muestra afecta a tus resultados?
Aquí tienes un ejemplo sencillo. Una empresa realiza una encuesta para averiguar el reconocimiento de marca. 6 de cada 10 personas afirman conocer la marca. Tras una campaña publicitaria, la empresa vuelve a realizar la encuesta. Esta vez 44 de cada 100 afirman conocer la marca. ¿Fue eficaz la campaña? 60 % frente a 44 %, pero lo cierto es que — ¡no podemos saberlo!
¿Cuántos de vosotros habéis realizado este tipo de encuestas y tomado decisiones de negocio basadas en ellas?
Una solución sencilla
Antes de que te lleves las manos a la cabeza y te des por vencido con los test A/B por completo, hay una manera de comprobar si tus test son legítimos. Una solución sencilla es una calculadora de test A/B como esta :
Lo único que tienes que hacer es introducir el número de participantes que vieron la versión A/B y a cuántos les gustó / convirtieron. Como respuesta, te indica las probabilidades de que la versión B sea mejor que la A o viceversa. También te ofrece unas representaciones visuales agradables que aparentemente se relacionan con tus datos, aunque puede que no tengas ni idea de cómo.
Por qué la tasa de conversión parece una campana
Cuando realizas un test A/B, un usuario puede hacer clic en el enlace o no. La respuesta es binaria — como lanzar una moneda; cara o cruz, 0 o 1. Estas variables aleatorias siguen la distribución de Bernoulli con un valor esperado o media conocidos y una varianza. No te preocupes si te confunden estos términos estadísticos. La cuestión es que el test A/B tiene una «forma» conocida que está totalmente definida por dos parámetros: la media y la varianza.
Si lo piensas, la tasa de conversión es la respuesta «media» por definición. El problema es que no conocemos la «verdadera» media: cada vez que pedimos a X cantidad de personas que evalúen la variante A/B, la media será diferente. Considera la altura media para los grupos de personajes en esta imagen:
En otras palabras, la media en sí misma es una variable aleatoria. Por suerte para nosotros, existe un teorema del límite central que dice que no importa cuál sea la distribución original, su media tiene una distribución normal. Se conoce informalmente como «campana de Gauss», con el mismo valor esperado y una varianza X veces menor:
Ahí es donde entran en juego la distribución de Bernoulli original con su valor esperado y su varianza. El centro de la campana es donde se encuentra el valor esperado. La varianza define la anchura que tendrá la campana. A cuantas más personas preguntes, más estrecha será la campana, dándote una tasa de conversión más precisa.
Comparando dos campanas
Entonces, ¿cómo comparas las dos campanas? La teoría dice que para dos variables aleatorias de distribución normal la prueba t de Student se puede usar. Dadas las distribuciones, calcula un cierto valor que, si las medias son iguales, cae en algún lugar dentro de la distribución t de Student. Si el valor es «improbable» para la distribución t de Student, significa que las medias no son iguales.
La distribución t de Student
La distribución t de Student se parece mucho a la curva de campana, pero no lo es. El gráfico de distribución de la mejora de la calculadora debería ser en realidad la distribución t de Student:
El límite entre el rojo y el verde corresponde al valor calculado. El área roja bajo la curva cubre los valores más «extremos». Su área es la probabilidad de obtener dichos valores si las medias son iguales. Cuanto menor sea el valor, más «improbable» es.
Pruebas de una y dos colas
Ten en cuenta que en nuestro caso, sin mirar los datos, no podemos sugerir razonablemente qué variante (A o B) es mejor. Ser «extremo» puede significar tener un rendimiento superior o inferior:
Cómo las empresas llegan a los clientes
Dependiendo de si realizas la prueba solo para el extremo bajo/alto o para ambos, la prueba se denomina de una o de dos colas y algunas calculadoras de test A/B te permiten ejecutar ambas.
Para resumir
Tomamos la solución más sencilla y obvia posible: una calculadora de test A/B. Pusimos nuestros datos y obtuvimos la respuesta. La respuesta nos dice si la variante B es mejor que la A, pero también nos da la certeza en porcentajes, además de unas agradables representaciones visuales que sirven tanto de ilustración del resultado como de explicación del proceso de razonamiento. El servicio es fácil de usar y la respuesta es tanto científica como agradable a la vista. No hay forma de que la respuesta sea incorrecta, y aun así la calculadora «olvidó» añadir otra cola.
En realidad, ni siquiera es un error. Hay casos en los que se pueden usar pruebas de una cola, pero no en este. Aunque la diferencia suele ser insignificante, a veces da como resultado la respuesta contraria a la pregunta fundamental original: «¿Es la variante B mejor que la A?».
Como H. L. Mencken dijo una vez: «para todo problema complejo hay una respuesta que es clara, sencilla y equivocada». No tienes que ser un científico de datos para realizar test A/B. Hay calculadoras de test A/Bque pueden hacer cosas por ti, pero tienes que entender qué te están diciendo las calculadoras. Una vez que lo entiendas mejor, puedes empezar a crear test A/B con fundamento.
¿Y ahora qué?
Ahora que con suerte sabes más sobre cómo evaluar los resultados del test A/B, probablemente vayas corriendo a hacer unos test A/B, evaluar, hacer algunos más y continuar hasta obtener una mejora estadísticamente significativa para mi caso de uso. Pero ese instinto en realidad sería equivocado.
Imagina lanzar una moneda. Sacas cruz las primeras 10 veces, lo cual es estadísticamente significativo. Así que dices que es una tontería que haya un 50 % de probabilidades al lanzar una moneda. Pero continúas y sacas 49 de 100.
Entonces, ¿cuánto tiempo deberías estar realizando un test? En otras palabras, ¿a cuántos usuarios deberías preguntar? En un principio, quería escribir otra publicación en el blog, pero no hay forma de que lo exprese mejor que Noah Lorang en su increíble artículo Nota técnica sobre los test A/B: determinar el tamaño de la muestra. Una vez que lo averigües, crea algunas etiquetas y prueba algún test A/B por ti mismo.
