Проверьте разницу конверсий между контролем и вариантом: конверсии, разница в процентных пунктах, z-оценка, p-value и вывод по данным.
Достоверность разницы конверсий
Проверьте, достаточно ли данных, чтобы считать разницу между контролем и вариантом статистически заметной.
Уровень доверия
Вручную
-
- Конверсия контроля
- Конверсия варианта
- Разница
- z и p-value
Формула: z = (CR2 - CR1) / корень(p x (1 - p) x (1/n1 + 1/n2)), где p - общая конверсия двух групп.
Как работает расчет: Достоверность разницы конверсий
Для контрольного и тестового вариантов считаются конверсии, разница в процентах, z-оценка и p-value. Итог показывает, похожа ли разница на статистически значимую.
Термины для расчета: Достоверность разницы конверсий
- p-value — вероятность увидеть такую разницу случайно при отсутствии эффекта.
- z-оценка — размер разницы с учетом разброса.
- Процентный пункт — абсолютная разница между двумя процентами.
Что влияет на результат: Достоверность разницы конверсий
Большая выборка делает даже небольшую разницу заметнее, а малое число конверсий снижает уверенность.
Что не учитывается: Достоверность разницы конверсий
Расчет не учитывает множественные сравнения, байесовский подход, сезонность и досрочную остановку эксперимента.