Сорок идей, четыре отдела и один спринт
Понедельник. Вам сказали поднять конверсию. В таблице сорок идей: восемь от маркетинга, двенадцать от продаж, шесть от поддержки, остальные принёс руководитель с конференции. Разработка даёт один спринт в месяц. Три идеи из сорока успеют быть проверены до конца квартала.
Вопрос, на который надо ответить не вам лично, а вслух и перед людьми, каждый из которых уверен в своей идее: почему именно эти три. Эта лекция — про то, как собрать ответ из данных, а не из громкости предложившего.
Роль читателя здесь фиксированная. Вы не дизайнер и не разработчик. Вы тот, кто приносит команде список того, что чинить, и обязан объяснить, почему именно это и в каком порядке. Всё остальное — чужая работа.
- Почему порядок запуска решает больше, чем качество отдельной идеи
- Воронка как измерительный прибор: знаменатель шага, окно, условия
- Где искать утечку — в сегменте, а не в среднем
- Четыре инструмента диагностики и четыре разных вопроса, на которые они отвечают
- Как из наблюдения получается гипотеза с основанием
- Сколько гипотеза стоит в рублях — до запуска, а не после
- ICE, PIE, RICE: откуда они, чем различаются и где систематически врут
- Что нельзя предлагать как гипотезу — и почему это уже не вопрос вкуса
- Дизайна и статистики проверки: размер выборки, значимость, мощность, длительность теста — это лекция про A/B-тесты и статистическую значимость
- Ответа на вопрос «что делать, когда трафика на тест не хватает» — он разобран в лекции по статистике для аналитика
- Парадокса Симпсона и когортных микс-эффектов — они у соседей, здесь только отсылка одной строкой
- Методики проблемных интервью — это отдельная лекция про кастдев
- Экономики лида: стоимости обращения, квалификации, атрибуции и ретаргетинга
- Правил передачи персональных данных в счётчик — они в лекции про цели и события
Лекция заканчивается там, где начинается запуск теста, и продолжается после того, как результат получен. Между этими двумя точками — чужая территория, и заходить на неё мы не будем.
Примеры идут вперемешку из трёх контекстов, потому что один и тот же аналитик за карьеру проходит все три: интернет-магазин с воронкой каталог → карточка → корзина → чекаут → оплата; лидогенерация услуг, где посадочная страница ведёт к форме, заявке и длинной сделке; продукт с подпиской, где регистрация, активация, триал и оплата видны не на неделе, а на когорте.
Шесть вещей, которых в этой лекции не будет и которых не должно быть в вашем отчёте: обещанного процента роста конверсии, отраслевого бенчмарка в роли цели, тёмных паттернов в списке гипотез, слов «запись сессий — это просто аналитика», обещания, что оптимизация страницы заменит трафик или продукт, и утверждения, что приоритизация объективна.
Сорок идей и один спринт: почему очередь дороже идеи
Начнём с числа, которое переворачивает всю постановку задачи. На экспериментальной платформе Microsoft только треть идей улучшала ту метрику, ради которой их делали — это Kohavi, Crook и Longbotham, работа об онлайн-экспериментировании 2009 года. В более позднем докладе о двенадцати годах тестов Kohavi даёт разбивку целиком: примерно треть результатов положительные и значимые, треть без значимой разницы, треть отрицательные и значимые.
То есть каждая третья реализованная идея делает хуже. Не «не помогает» — делает хуже, и это видно в данных.
Обратите внимание на направление: чем лучше отлажена площадка, тем ниже доля успеха. Это не парадокс. На сыром сайте много очевидно сломанного, и почти любая правка что-то чинит. На вылизанном сайте очевидное кончилось, и остались идеи, про которые заранее неизвестно ничего.
Ресурс — не идеи, ресурс — очередь
Если из десяти идей сработает одна-две, то арифметика простая: порядок запуска решает больше, чем качество отдельной идеи. Сорок идей у вас уже есть — они приходят сами и бесплатно. Чего у вас нет, так это слотов. Слот стоит спринт разработки плюс несколько недель, пока результат наберётся.
Отсюда конструкция всей лекции и порядок тем: сначала найти, где теряются деньги, потом превратить наблюдение в проверяемую гипотезу, потом расставить очередь по потенциалу, а не по громкости предложившего, потом сохранить результат так, чтобы через год он был знанием, а не строкой в переписке.
Часть значимых результатов оказывается ложноположительной даже у корректно спланированного теста — это следствие самой процедуры проверки, а не чьей-то небрежности. Механику разбирает лекция про A/B-тесты и статистическую значимость. Здесь она нужна ровно для одного вывода: доля идей, которые реально сработали, ещё ниже, чем доля тех, что показали улучшение.
Чего оптимизация страницы не делает
Прежде чем строить очередь, из неё надо вычеркнуть то, что вообще не является гипотезой интерфейса. Если люди уходят с карточки, потому что товара нет на складе, — это не гипотеза про кнопку. Если заявки приходят и не превращаются в сделки, потому что оффер не нужен рынку, — перекраска формы этого не изменит.
Оптимизация не создаёт спрос и не чинит непригодное предложение. Она снимает препятствия между человеком, который уже хотел, и действием, которое он уже собирался совершить. Всё остальное — работа продукта и трафика, и честный аналитик говорит это вслух до того, как начнёт составлять очередь.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.