Medidor de intervalos de confiança

O medidor de intervalo de confiança do Ion ajudará você a entender a confiança estatística de seus testes A/B e quando eles chegaram a um teste vencedor. Você pode usar a otimização automática para permitir que o Ion reconheça automaticamente quando seu teste tem um vencedor ou você pode usar o medidor de intervalo de confiança criativo para monitorar seu teste e chegar a um vencedor manualmente.

Observação: você definiu o nível de significância estatística do teste? Para fazer isso, passe o mouse sobre a aba de Configurações e escolha "Configurar site". Na parte inferior da página, você verá um menu suspenso para a confiabilidade estatística. Selecione o seu nível de confiança preferido e clique em Salvar.

Acompanhando o desempenho de testes

Para encontrar o medidor dos intervalos de confiança criativa, você pode ir até a guia Desempenho das Fonte de Tráfego do teste. Na metade inferior da página, selecione "Intervalos de confiança da peça criativa" e clique no ícone de atualização azul que fica à direita. Em seguida, insira um intervalo de datas que reflete quando o teste começou. Depois disso, você deverá ver um gráfico semelhante ao visto abaixo, que demonstra os dados estatísticos atuais de um teste A/B.

Cada linha representa uma peça criativa que estava ativa durante esse período. Use cada ponto da curva para analisar o desempenho do teste. O ponto no topo de cada curva representa a taxa de conversão média da peça. No exemplo acima, a taxa de conversão média é maior para a peça B (2,37%) e tem um desempenho melhor como tendência.

Descendo uma determinada curva, você notará pontos adicionais. Como o Ion usa distribuição binomial, os pontos nos lados esquerdo e direito de uma determinada curva representam o mesmo nível de confiança com o espaço intermediário representando a margem de erro. O primeiro ponto de cada lado de uma determinada curva representa 80% de confiança, enquanto o próximo ponto representa 95% de confiança. Depois que o ponto do limite inferior de uma curva ultrapassa o ponto do limite superior da outra, um vencedor do teste pode ser declarado naquele nível de confiança. Por exemplo, se o ponto do limite inferior da peça B com 80% de confiança ultrapassar o ponto do limite superior com 80% de confiança para a peça A, a peça B pode ser declarada a vencedora do teste.

Se a origem do tráfego estiver configurada para otimização manual, você pode monitorar os resultados do teste e parar de mandar tráfego para a peça de baixo desempenho quando estiver pronto para declarar a vencedora do teste ao removê-la da origem do tráfego. Com a configuração da otimização automática, o Ion vai parar automaticamente de enviar tráfego para a peça de baixo desempenho assim que a confiança for alcançada.

Caso você tenha dúvidas, por favor, entre em contato conosco help@rockcontent.com. 😀