Лекция «A/B-тесты и статистическая значимость»

Около 80 минут на 17 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 46 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

17 тем позади. Вы считаете размер выборки до запуска и знаете, что половина искомого эффекта стоит вчетверо больше данных, поэтому «расчёт показал три месяца» — это результат, а не препятствие. Читаете p-value как утверждение про данные, а не про правоту гипотезы, и планируете по нижней границе доверительного интервала. Различаете «разницы не обнаружено» и «разницы нет». Знаете цену подглядывания, множественных сравнений и перекоса в делении групп — и проверяете численность групп раньше конверсий. Отличаете корректный сплит в рекламном кабинете от двух групп объявлений в одной кампании, а в рассылке считаете, какой эффект вообще проверяем на конечном списке. И знаете границу: при малом трафике, длинном цикле сделки, офлайне и медийных кампаниях A/B-тест не работает — там холдаут, geo-холдаут и промежуточные метрики. Итог собран в карточку эксперимента из 12 пунктов, девять из которых заполняются до запуска.

Нет. Всё, что понадобится, — умение умножать и делить: единственная формула лекции считается на салфетке, и она разобрана на пяти сквозных примерах с подставленными числами. Дисперсию, мощность и p-value мы вводим с нуля, без учебникового языка.

Да, и как раз для такой ситуации в ней две отдельные темы. Расчёт выборки чаще всего отвечает «этот эффект на вашем объёме не поймать» — и это полноценный ответ, полученный до того, как потрачены месяц и бюджет. Тема 15 разбирает рассылку с конечным списком, тема 16 — что делать вместо A/B при малом трафике, длинном цикле сделки, офлайне и медийных кампаниях.