Лекция «Оценка обучения: модель Киркпатрика»

Около 90 минут на 19 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 57 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Девятнадцать тем о том, как измерить эффект обучения и не соврать при этом ни себе, ни бизнесу. Откуда взялась рамка: четыре шага оценки Киркпатрик в 1956 году прямо приписал Рэймонду Кацеллу, а в статьях 1959–1960 годов ни слова «уровни», ни слова «модель» ещё не было. Что с ней сделала наука: три допущения, вычлененные Аллигером и Джанаком в 1989 году, и мета-анализ 1997 года, где реакции связаны с немедленным научением на 0,08, аффективные — на 0,02, утилитарные — на 0,26; обобщённая корреляция анкет с научением около 0,09 при пороге слабой связи от −0,30 до 0,30. Как переделать анкету, чтобы она давала данные: применимость, намерение применить, препятствия и содержательные якоря вместо шкалы 1–5. Уровень 2 без иллюзий: претест, критериальный тест, отсрочка от трёх суток, ловушка самооценки знаний и сдвиг системы отсчёта Ховарда (1979), из-за которого сработавшая программа показывает минус. Уровень 3: критические поведения, требуемые драйверы, четыре инструмента замера с их смещениями. Уровень 4: ведущие и запаздывающие индикаторы и базовая линия, без которой любое число ROI — догадка, наряженная в проценты. Пятый уровень: формулы Филлипса на рабочем примере (выгоды 164 000, затраты 48 000, чистая выгода 116 000, ROI 241%, BCR 3,4 к 1), недосчёт затрат на 40–60% из-за забытых часов участников, которые составляют 60–70% стоимости очной программы. Изоляция эффекта пятью методами по убыванию надёжности и её честные границы. Семь ловушек, из-за которых добросовестный замер даёт неверный ответ. Спор ROE против ROI и движение Kirkpatrick Partners к языку вклада. LTEM Талхаймера и метод успешного случая Бринкерхоффа. Российская рамка: 91 млрд рублей рынка, налоговые условия признания расходов по п. 3 ст. 264 НК РФ, ученический договор и ст. 249 ТК РФ, обязательная проверка знаний по охране труда. И лестница глубины оценки с чек-листом честности отчёта из восьми вопросов.

Потому что связь баллов анкеты удовлетворённости с результатами научения в обобщении четырёх мета-анализов, покрывающих более 200 исследований, составляет около 0,09–0,10, а слабой принято считать любую связь в диапазоне от −0,30 до 0,30. В мета-анализе Аллигера и коллег 1997 года (34 исследования, 115 корреляций) аффективные реакции — «понравилось» — связаны с немедленным научением примерно на 0,02, утилитарные — «это пригодится мне в работе» — примерно на 0,26. Асимметрия при этом работает в обе стороны: высокие оценки не гарантируют, что обучение сработало, но и низкие не доказывают провала. Выбрасывать анкету не нужно — Талхаймер, который и приводит эти числа, написал о переделке анкет две книги. Нужно поменять вопросы: спрашивать о вероятности применения и о том, что именно человек намерен делать; спрашивать, была ли на занятии практика, обратная связь, извлечение из памяти; заменить шкалу 1–5 содержательными якорями («не смогу применить без помощи» / «смогу с подсказкой» / «смогу самостоятельно» / «смогу научить другого»). И потратить один вопрос на то, чего иначе не узнать: что помешает применить. Двадцать ответов «руководитель требует делать по-старому» стоят дороже любого среднего балла — это описание системы, в которую человек возвращается.

Посчитать можно, но качество ROI равно качеству изоляции, не больше: формула сама по себе ничего не доказывает. Условий три. Первое — базовая линия снята до начала обучения; без неё число «после» не с чем сравнить, и любая цифра эффекта становится оценкой, а не измерением. Второе — способ изоляции выбран заранее: самый надёжный из них контрольная группа, дальше по убыванию идут анализ тренда, прогнозные модели, оценки участников с поправкой на уверенность и оценки руководителей или экспертов. Последние два класса — это опрос мнений, и называть их измерением нельзя. Третье — затраты посчитаны полностью, вместе с часами участников: большинство команд недосчитывают затраты на 40–60%, потому что забывают их, а на очной программе время участников обычно составляет 60–70% полной стоимости. Если хотя бы одно условие не выполнено, честный ответ звучит так: пятого уровня по этой программе не будет, зато будет цепь доказательств — что изменилось в поведении, чем это подтверждено, как двинулся показатель и что ещё могло на него повлиять. Филлипс и сам предлагал считать ROI лишь для 5–10% программ организации — самых дорогих и массовых, на которые приходится около половины бюджета. Альтернативный язык — ROE, возврат на ожидания: критерии успеха согласуются со стейкхолдерами в начале, но у него своя уязвимость, поскольку планку задают сами участники процесса.