Um processo de experimentação constante tem um papel importantíssimo na construção de um produto digital maduro, que não perderá relevância com o passar do tempo. Uma das ferramentas mais importantes para esse processo é a testagem AB, que permite a avaliação de uma nova abordagem (que pode ser uma nova feature, identidade visual, hierarquia de elementos, texto, entre outros) através da comparação com a versão padrão real time, reduzindo as alterações de outras variáveis que podem impactar um resultado comparativo.
É ótimo quando chegamos em resultados positivos que comprovam as hipóteses concebidas nas testagens. Nem sempre, porém, isso acontece. Existem testes que rodam por tempos e chegam ao fim da experimentação com cenários inconclusivos. Por que isso acontece? Nesse artigo, exploraremos um pouco das possíveis causas de uma experimentação que terminou sem respostas.
-Amostras desproporcionais: a divisão de tráfego destinado a cada variante testada deve ser igual, incluindo grupos relevantes (um split de 50%/50% deve prever a divisão de um grupo desse tráfego na mesma porcentagem, como, por exemplo, a divisão de regiões do país, que deve ter amostras similares entre as versões experimentadas)
-Erro de carregamento do teste: o gatilho de ativação de teste deve ser bem definido. Não faz sentido fazer participar do teste todos os usuários do site, se a mudança a ser feita é em uma página específica. É necessário prestar atenção também aos tipos de usuários e suas diferentes jornadas (as telas vistas por usuários logados podem ser diferentes das telas vistas por usuários que entram pela primeira vez no site, por exemplo)
-Testes concorrentes: a sobreposição de soluções empregadas em testes diferentes pode enviesar os números de ambas. A solução é não rodar experimentações diferentes para um mesmo público, em um mesmo momento.
-Não atingimento de relevância estatística: a diferença obtida entre as métricas de avaliação de um teste deve ser estatisticamente significativa, senão nada pode ser dito sobre o que foi avaliado. Uma experimentação em uma etapa inicial de navegação pode ter poucos impactos em uma métrica de conversão final. Na micro conversão imediata associada, por outro lado, poderia trazer essa relevância e trazer respostas para o teste.
-Anomalias globais: algum tipo de situação fora do controle da empresa pode trazer comportamentos atípicos de navegação no site, e até mesmo perfis que não são os tradicionais impactados pelo que a empresa vende.
-Períodos de plataforma fora do ar: o site pode ter saído do ar, por motivos diversos (picos de tráfego, manutenção) e isso pode impactar a entrada de usuários específicos que podem mudar o cenário de um teste.
O estudo dessas causas, e o consequente entendimento da razão da inconclusão, pode levar a um melhor planejamento de um teste seguinte, adicional, para chegar a respostas, de fato. É imprescindível fazer um bom planejamento e ter controle da testagem, controlando as variáveis que estão ao nosso alcance, para ter o mínimo de situações inconclusivas possíveis, e potencializando ao máximo a capacidade da equipe de otimização da sua plataforma digital.