Лекция «Гипотезы и продуктовые эксперименты — решение записывают до запуска, а не после графика»

Около 45 минут на 12 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 33 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Двенадцать тем превращают поток догадок в поток решений. Отправная точка — внешняя и низкая доля успеха: треть идей на платформе экспериментов Microsoft, около 10% экспериментов Google, приводящих к изменениям в бизнесе, 90% ошибок по самооценке Netflix и 33% угаданных исходов у практика с пятилетним стажем. Отсюда первый вывод: объём проверок планируется наравне со сроками. Дальше — разбор трёх строк бэклога, которые выглядят одинаково: задача с известным результатом, мнение, которое нечем опровергнуть, и гипотеза с исходом, который её похоронит. Цикл HADI разбирается по шагам с требованиями ФРИИ, включая запрет совершать что-либо помимо заявленного действия и понедельный ритм 1–2 недели, а его корень прослеживается до цикла Шухарта 1939 года и спора Деминга о букве Study вместо Check. Метрика решения — OEC по Кохави: одна, названная до действия, измеримая за короткий срок и не равная прибыли, потому что прибыль поднимается краткосрочными приёмами. Отдельная тема показывает, что буква A в HADI означает действие, дающее данные, а не сплит-тест: семь кейсов проверки без разработки со сроками полторы-три недели, и среди них шаблон Airtable, который подключили более 1000 человек — спрос подтвердился, ценность нет, проект закрыли. Критериев остановки три, они фиксируются до запуска, и разобраны через клинические испытания: анализ на бесперспективность после 713 событий с порогом условной мощности 20%. Следом — честная оговорка: в LUME-Lung 2 правило сработало при условной мощности 10,3%, набор остановили, а последующий анализ показал, что первичная точка была достигнута. Ритм цикла и длительность измерения разведены как разные величины: 1–2 недели у ФРИИ против требования Кохави наблюдать полный недельный цикл и несколько недель сверху. Завершают лекцию разбор HiPPO с реконструкцией термина от Intuit 2006 года, три диагноза за формулировкой «гипотеза не подтвердилась» и красные линии: цена в публичном договоре по статье 426 ГК, эксперимент на 689 003 пользователях без их ведома и Editorial Expression of Concern, необратимые решения, требования регулятора, уязвимые группы.

Можно, но не сплит-тестом. Буква A в цикле означает «действие, дающее данные о гипотезе», и сплит-тест — лишь один из вариантов. В разобранных кейсах проверки шли без разработки и укладывались в полторы-три недели: посадочная страница «Рокетбанка» — более 10 тысяч посетителей и более 10% заявок; кнопка-заглушка МТС на группе в несколько тысяч человек; чат-бот Яндекса, где ответы три недели писали асессоры; WorkoutMe с WhatsApp и Excel вместо продукта на 25 пользователях. Практическое правило из лекции: гипотеза, измерение которой не укладывается в горизонт решения, требует не терпения, а другого способа проверки.

Сам по себе — нет, и лекция этого не обещает. Спор, в котором стороны не договорились о критерии заранее, выигрывает тот, у кого больше полномочий, и это нормальный способ принять решение, когда выбрать между мнениями не на чем. Рабочий ход другой: договориться о метрике решения и пороге на том же совещании, где звучит «очевидно же». Тогда будущий спор о результате сводится к одному вопросу — порог пройден или нет. После эксперимента договариваться поздно: аргументы уже подбираются под увиденные цифры, причём с обеих сторон.