Medidor de intervalo de confianza

El medidor de intervalo de confianza de ion, o "Creative Confidence Intervals" en ingles,  te ayudará a comprender la confianza estadística de tus pruebas A/B y te permitirá saber cuándo tu prueba A/B ha alcanzado una tendencia ganadora. Puede usar la optimización automática para permitir que ion reconozca automáticamente cuándo tu prueba tiene un ganador o puedes usar el indicador de intervalo de confianza, para monitorear tu prueba y declarar un ganador manualmente.

Nota: ¿Has establecido el nivel de significancia estadística de tus pruebas? Para hacerlo, coloca el cursor sobre la pestaña Settings y selecciona "Configure Site". En la parte inferior de esta página, verás un menú desplegable de confianza estadística. Selecciona tu nivel de confianza preferido y haz clic en "Save" para guardar.

Seguimiento del rendimiento de la prueba

Para encontrar el indicador de intervalos de confianza, puedes navegar a la pestaña Traffic Source Performance de tu prueba. En la mitad inferior de la página, selecciona "Creative confidence intervals" y luego haz clic en el ícono de actualización azul directamente a la derecha.

Luego, ingresa un rango de fechas que refleje cuándo comenzó la prueba. Una vez que se ha seleccionado el indicador y el rango de fechas apropiado, verás un gráfico similar al que se ve a continuación que demuestra los datos estadísticos actuales de una prueba A/B.

 

1-Jan-21-2021-12-21-26-39-PM

 

Cada línea representa una publicación que estuvo activa durante ese intervalo de fechas. Utiliza cada punto de la curva para analizar el rendimiento de tu prueba.

El punto en la parte superior de cada curva representa la tasa de conversión media de la publicación. En el ejemplo anterior, la tasa de conversión media es más alta para la publicación B (2,37%) y tiene un mejor rendimiento como tendencia.

Al descender por una curva determinada, notarás puntos adicionales. Debido a que ion usa una distribución binomial, los puntos en el lado izquierdo y derecho de una curva dada representan el mismo nivel de confianza con el espacio intermedio que representa el margen de error.

El primer punto a cada lado de una curva determinada representa un 80% de confianza y el siguiente punto representa un 95% de confianza. Una vez que el punto del límite inferior de una curva determinada pasa el punto del límite superior de la otra, se puede declarar un ganador de la prueba en ese nivel de confianza.

Por ejemplo, si el límite inferior de la publicación B al 80% de confianza supera el límite superior al 80% de confianza para la publicación A, la publicación B puede ser declarada ganadora de la prueba.

Si la fuente de tráfico está configurada para la optimización manual, puedes supervisar los resultados de la prueba y dejar de enviar tráfico a la publicación de bajo rendimiento cuando estés listo para declarar un ganador de la prueba eliminando la ponderación de la fuente de tráfico.

Con la configuración de optimización automática, ion dejará de enviar tráfico automáticamente a la publicación de bajo rendimiento una vez que se alcance la confianza.