До правки записывают правило, а не удачный экран
Промпт сортировки обращений сравнивают не на глаз и не одним удачным экраном. До правки записаны три вещи: критерий, который можно провалить, лист строк с эталоном и правило, при каком счёте новая версия заменяет старую. После прогона считают регрессии: строка, которую старая версия сдала, а новая нет. Новая не «лучше», пока заранее записанное правило не выполнено.
Читатель ведёт такой промпт в вымышленном интернет-магазине канцтоваров ООО «Бумажный двор». Компании нет. Ответы версий А и Б в листе написаны для лекции: их не выдавала названная модель. Рамка — не замер и не факт о компании.
Слово evals на странице OpenAI значит три разные вещи. Здесь только третья: свои тесты прикладной системы. Отраслевой бенчмарк вроде MMLU и готовая шкала вроде ROUGE задачу магазина сами по себе не заменяют. Блоки запроса, устройство модели, природа выдумки, голос бренда, статистическая значимость, покупка модели, поиск по базе и атаки остаются в соседних лекциях. Промпт уже есть. Вопрос один: какая версия держит лист.
- Механику, почему один и тот же вход даёт разный выход, лекция не объясняет и не обещает, что какой-либо режим вызова это расхождение снимет.
- Текста атаки, обхода инструкции и утечки скрытого промпта нет. Допустимо только имя класса «попытка увести инструкцию».
- Какую модель купить, сколько стоит токен и как устроены токены — не этот текст. Имя модели со страницы документации — пример страницы на 6 октября 2026, не рекомендация.
- Чужой порог не становится порогом читателя. Рядом с числом всегда пометка, чей это образец формы.
- Процедуру личных данных сюда не копируют. Пока вопрос не закрыт лекцией dannye-v-nejrosetyah, в учебном листе только вымышленные фразы.
Один экран ничего не доказывает
OpenAI, страница «Evaluation best practices», developers.openai.com, снята 6 октября 2026. Генеративные модели переменчивы: с одного входа выход бывает разным, поэтому обычные приёмы проверки программ для такой системы недостаточны. Проверки — на странице это evals — структурированные тесты, которыми измеряют поведение, несмотря на эту переменчивость.
Три значения одного слова
Лекция держит только третье значение. Первые два соседние, их не подменяют листом магазина.
- Отраслевые бенчмарки сравнения моделей самих по себе, например MMLU. Это не наш лист.
- Готовые числовые шкалы вроде ROUGE и BERTScore. Их можно взять внутрь своей проверки. Сами по себе они задачу не заменяют.
- Свои тесты прикладной системы. Это предмет лекции: сортировка писем по заранее записанному правилу.
Число на шкале от 0 до 1 само по себе ответ не заканчивает. Метрику соединяют с человеческим суждением, иначе измеряют не тот вопрос.
Пять рабочих правил и четыре антипримера
Та же страница называет пять рабочих правил. По смыслу страницы: проверять рано и часто, на каждой стадии узкий тест; тест повторяет реальную задачу, а не «модель вообще»; писать журнал, чтобы потом доставать из него новые строки; где можно — автоматический счёт; проверка не кончается одним прогоном; автоматический счёт сверяют с людьми.
- Только академическая метрика вроде perplexity или BLEU, без своей задачи.
- Набор, который не похож на боевой поток.
- Оценка на глаз: «вроде работает», или первая проверка уже после выкладки.
- Автоматический счёт, который ни разу не сверили с людьми.
Там же отдельная оговорка: модели лучше различают варианты, чем пишут открытый текст. Проверка надёжнее, когда она про попарное сравнение, классификацию или балл по явному критерию, а не про свободное сочинение. Гладкий абзац на одном экране слаб именно поэтому.
Фразу «один и тот же вход может дать разный выход» берём как факт переменчивости со страницы OpenAI. Механику лекция не объясняет. Не обещаем, что расхождение исчезнет при каком-либо режиме вызова: такого обещания на странице нет.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.