“Teste A/B”

Para este exemplo, utilizaremos o CRO, Conversion Rate Optimization (Otimização da Taxa de Conversão), como base.

Em um ambiente onde você pretende otimizar a Taxa de Conversão, os testes devem ser direcionados para encontrar formas diferentes de provocar um aumento no sucesso desta taxa, que significa aumentar o % de pessoas que entram em um fluxo e finalizam com o sucesso desejado. 

No exemplo abaixo, temos um exemplo de teste, onde os botões para contratação terão suas cores testadas:

O elemento testado neste caso é o botão Call-to-Action (CTA) e a variável dividida é a cor deles. O elemento que apresentar melhor taxa de cliques, CTR (cliques que resultem em uma venda), é o vencedor. Para realizar a otimização, devemos adotar o elemento que apresentou melhor performance.

Erros de teste

Durante a realização do teste de variáveis divididos, é importante sempre manter a mentalidade de Mínimo Teste Viável e “travar as variáveis”. Para cada teste A/B realizado, é necessário que apenas uma variável seja testada, pois uma mudança nas variáveis pode enviesar o resultado do teste. Considere variáveis:

• Origem do tráfego: o teste deve ser realizado com tráfego de segmentação igual;

• Recurso modificado: o teste deve ter somente um recurso modificado por ensaio;
• Período: realizar os testes em janelas simétricas de tempo;
• Sazonalidade: não deslocar os testes em períodos distintos, como um mês comum vs black friday.

O teste não é válido neste exemplo, pois há uma quebra na trava das variáveis. Há mais que uma modificação no recurso que irá gerar desvios no teste: a cor do botão e o texto do botão foram modificados.

Testes A/B nos cursos da PM3

Há dois cursos que abordamos com muita profundidade este tema. O primeiro é o Curso de Product Management, no qual o Thiago Belluf dá uma aula completa de como desenvolvem testes A/B no OLX Brasil – chegando a abrir a ferramenta e mostrar no detalhe como analisava cada interação.

No Curso de Product Growth, o Eduardo Horvath, CPO no Getninjas mostra as melhores práticas para otimizar as suas conversões e assim aumentar as chances de sucesso nos seus testes A/B.