Como conduzir um teste A/B

Ion permite que você divida o teste (teste A/B) de qualquer número de publicações em qualquer um de seus Ion URLs. Quando duas ou mais publicações são atribuídas ao mesmo URL, a plataforma Ion executará um teste de divisão nesse URL, distribuindo o tráfego de entrada pelas publicações no seu grupo de teste.

 

Antes de começar

  • Você deve estar familiarizado com (1) a criação de experiências no Ion e (2) como criar um URL. Falamos levemente sobre esses conceitos a seguir, mas se você ainda não está familiarizado com a publicação de experiências e com a criação de URLs, verifique as seções Create & Edit e Launch no nosso site de suporte para entender mais sobre esses conceitos.
  • É uma prática recomendada começar com um plano de teste — saiba o que você deseja testar e o porquê. Se você é novo em testes, pode baixar uma cópia do "Guide to Online Testing" do Ion para obter mais informações sobre a formulação da sua estratégia de teste.

Vamos começar!

1. Engaje suas publicações

Para começar o teste A/B, você precisa ter duas ou mais publicações engajadas em uma única campanha. Depois de ter suas publicações prontas, a configuração do teste A/B leva apenas cerca de um minuto! É muito fácil, basta seguir estas instruções para abrir um URL e dividir o tráfego entre as variações do criativo.

  1. Navegue até a tela de gerenciamento de uma das publicações que você deseja testar.
  2. Altere o modo Dropdown para Draft to Engaged.
  3. Repita o processo em outras publicações que você deseja incluir no seu teste.

2. Crie um URL 

Assim que suas publicações estiverem engajadas, você pode abrir um URL que vai dividir o tráfego entre suas publicações engajadas. A criação de um URL ativa sua Creative e oferece a oportunidade de dividir o tráfego entre duas ou mais publicações em um teste A/B.

  1. Navegue até a tela de gerenciamento de campanha.
  2. Clique no botão New URL.
  3. Selecione o subdomínio que gostaria de usar com o URL que você está criando.
  4. Adicione uma Path extension exclusiva para esse URL na caixa de texto imediatamente à direita do menu suspenso do subdomínio.
  5. Escolha como você quer rastrear os visitantes.
  6. Isso mostrará no relatório como o tráfego é direcionado para esse URL.
  7. Escolha a categoria e a subcategoria.
  • Se não houver uma subcategoria que você gostaria de usar, você pode adicionar uma subcategoria personalizada clicando no link imediatamente abaixo do menu suspenso.

iii. Selecione uma das publicações que você gostaria de receber o tráfego desse URL.

  • Depois de selecionada, a miniatura da publicação que você escolheu será destacada com uma borda vermelha.

iv. Clique em Save.

3. Divida seu tráfego

Depois de criar seu URL, você será levado à tela URL Management. A partir daqui, você pode configurar seu URL recém-criado para dividir o tráfego entre várias publicações.

  1. À esquerda de cada publicação na tela de URL Management, você verá menus suspensos para cada publicação, onde pode selecionar um valor numérico.
  • Esses valores representam a quantidade de tráfego a ser alocada para determinada publicação.

2. Para dividir o tráfego, selecione um valor diferente de zero para uma publicação que não esteja configurada para receber tráfego do seu URL.

  • Se você atribuir o mesmo valor numérico, o tráfego será dividido igualmente entre as publicações em verde.
  • Você pode ter seu tráfego dividido do jeito que quiser.
  • A porcentagem de tráfego para cada publicação é representada em um gráfico de pizza, abaixo da lista de publicações, denominado Traffic allocation.

3. Depois de definir seus menus suspensos, qualquer tráfego que chegar a esse URL será dividido conforme especificado por seus controles.

  • Você pode direcionar o tráfego para quantas publicações desejar.

4. Otimização automática

O Ion permite que você otimize automaticamente, enviando tráfego para a publicação escolhida assim que a significância estatística for alcançada. Se preferir, você também pode monitorar manualmente os resultados do teste sem otimização automática.

1. No topo da tela URL Management, você verá um menu suspenso A/B Optimization.

2. Por padrão, o Ion encontrará automaticamente a publicação com melhor desempenho e removerá a publicação de menor desempenho da divisão de tráfego.

3. O Ion determina qual publicação tem melhor desempenho com base em um intervalo de confiança estatístico que é definido na tela Configure Site.

  • Você pode encontrar mais informações sobre a confiança estatística na seção Statistical Confidence.

4. Se você deseja controlar manualmente quando uma publicação é removida do teste, basta clicar no menu suspenso e selecionar Manual Optimization.

Confiança estatística

A plataforma de Ion pode comparar os resultados de conversão de diferentes publicações e determinar qual deles terá mais sucesso com base em um nível de confiança predeterminado. No Ion, você pode definir esse nível entre 80% e 99% de confiança, de acordo com sua preferência.

Como?

Para definir o nível de confiança de sua preferência, clique na guia Settings na parte inferior do painel de navegação lateral do Ion e selecione Configure site. No meio dessa página, você verá um menu suspenso denominado Confidence. É aqui que você pode selecionar o nível de confiança que deseja alcançar antes de declarar o vencedor de determinado teste entre publicações.

*DICAS:

Selecionar um nível de confiança mais alto pode exigir mais tráfego para atingir a confiança, portanto, leva mais tempo para alcançar do que níveis de confiança mais baixos.

Selecionar um nível de confiança mais alto resultará em resultados de teste mais precisos (um nível de confiança mais alto significa que a margem de erro é menor nos resultados).

Você pode ver a confiança do seu teste na guia URL Performance para qualquer um de seus URLs — verifique o medidor Creative Summary para a margem de erro e o Confidence Interval para ver os resultados do teste em 80% e 95% de confiança.