Uma das ferramentas mais importantes do processo de CXO (Customer experience optimization, ou otimização da experiência do cliente/usuário, em português) é o teste A/B. Após montar uma hipótese de otimização para a sua plataforma digital, desenhar uma solução em linha com ela, testá-la frente à sua versão padrão e finalmente obter os resultados, no caso de um cenário positivo, você não vê a hora de implementar a nova dinâmica vencedora para todos os seus usuários, e com razão, você deve fazer isso. Agora, esse resultado positivo, constatado, durará para sempre ou começará a perder efeito com o tempo?
Consideremos que você tenha rodado o seu teste de forma incontestável: uma boa amostra de usuários impactados, um tempo mínimo de rodagem considerando as micro-sazonalidades entre horas de um dia e dias de um mês, o atingimento de um resultado estatisticamente significativo. Ou seja, o resultado obtido mostra, comprovadamente, que você vai ganhar mais dinheiro aplicando essa nova experiência para seu usuário digital. Podemos avaliar esse faturamento extra no tempo através de alguns fatores.
Um ponto a se pensar é que as diversas variáveis existentes em um ambiente digital, que foram controladas durante o teste, mudarão a partir do momento em que ele se encerrar. Temos mudanças nas campanhas de marketing que levam os usuários para a plataforma, os efeitos das sazonalidades, que costumam ocorrer nos diversos tipos de indústria, as mudanças de tecnologia que podem fazer com que os usuários passem a navegar de formas diferentes, entre outros.
Outro ponto a ser avaliado é a questão de estarmos lidando com abordagens estatísticas para avaliar os resultados, por mais que a metodologia da testagem A/B seja científica. Pelo simples fato de estarmos trabalhando com probabilidade, os resultados quase certamente serão diferentes em diversos momentos de sua medição.
O que costumamos enxergar é, de fato, uma diminuição dos efeitos do teste com o tempo, ainda que essa diminuição geralmente não atinja o valor inicial da métrica avaliada. Exemplificando, para tornar mais palpável: considere a taxa de conversão de sua plataforma, originalmente em 1%. Imagine que uma nova proposta de tela para uma das páginas de seu site tenha levado a conversão a 1,4%. O efeito de dissipação da versão teste pode trazer uma queda, mas dificilmente chega ao patamar inicial de 1%. É provável que, com o tempo, chegue a 1,3% ou 1,2%. Obviamente que um processo consolidado de CXO prevê testagens contínuas, então teremos sempre pequenos ganhos sendo adicionados com o tempo nessas métricas avaliadas na plataforma.
A conclusão é que o mundo está em constante mudança, e enquanto pontos que foram avaliados hoje podem trazer um resultado positivo nessa “fotografia” que é o agora, temos que continuar trazendo evoluções e mudanças relevantes para os usuários das nossas plataformas, para que os efeitos nas nossas métricas principais no acompanhamento delas seja sempre no sentido de otimização. Por isso, um processo de otimização contínua, que é o que prevê o CXO, é tão importante para a sua plataforma digital. Como está essa dinâmica na sua empresa?