15 тем · ~80 минут · 30 тестов

Лекция «Оценка промпта: критерий, строки и две версии»

Промпт-инженер до правки пишет критерий и лист строк, прогоняет старую и новую версию одним правилом и называет новую лучше только если заранее записанное правило это разрешает.

Начать бесплатно Программа лекции
Для кого

Для промпт-инженера, который ведёт промпт сортировки обращений в вымышленном магазине. Это пункт 8 плана профессии prompt-inzhener. Не для исследователя бенчмарков и не для автора модели.

Продвинутый уровень
Что получишь

После лекции вы сможете

  • Записать до правки критерий, который можно провалить, лист строк с эталоном и правило замены версии
  • Отличить точное совпадение метки после снятия пробелов и нижнего регистра от вхождения, ROUGE-L и косинуса
  • Посчитать на одном листе регрессию, улучшение и строку вне знаменателя и не заменить версию, пока заранее записанное правило этого не разрешает
  • Удержать чужой порог и чужое согласие судьи при своём источнике: с именем, датой и прямой пометкой, что это не норма своего листа
  • Назвать границы обещания: переменчивость следующего ответа, отменённый ПНСТ 965-2024, непрочитанный ГОСТ Р 59898-2021 и закрытие платформы Evals
Программа

15 тем и 30 тестов на понимание

Каждая тема — один экран и одна мысль. В конце темы — ситуационные вопросы: ответили верно, идёте дальше.

Часть 1. До правки: проверка и критерий

1

Один экран ничего не доказывает

2

Три записи до правки промпта

3

Критерий, который можно провалить

4

Несколько осей, и ни одной в рублях

Часть 2. Строка листа

5

Строка: вход, эталон и класс

6

Откуда берётся строка и кто принимает эталон

Часть 3. Чем ставят сдачу

7

Код для метки: регистр, eq и спор ne с neq

8

Вхождение, ROUGE-L и косинус не судят метку

9

Когда нужен человек и когда судья-модель

10

Перекос позиции и чужое согласие 2023 года

Часть 4. Две версии и учебный лист

11

Регрессия, улучшение и строка вне знаменателя

12

Правило замены записывают до прогона

13

Лист «Бумажного двора»: 6 из 7 против 5 из 7

Часть 5. Чего лист не обещает

14

Чего короткий лист не доказывает

15

Чего обещать нельзя

Темы лекции: оценка промпта, критерий, набор строк, точное совпадение, судья-модель, регрессия, две версии

Обновлено: 6 октября 2026

Как устроено обучение

Читаете, отвечаете, видите результат

Интерактивная лекция с тестами: тема — экран текста, за ним вопрос по этой же теме. Ни видео, ни вебинаров, ни дедлайнов.

Тесты внутри тем

30 тестов по ходу лекции — ситуационных, на понимание, а не на зубрёжку.

Старт — бесплатно и сразу

Первые темы открыты без регистрации: нажали — учитесь. Понравилось — продолжите по аккаунту, полный доступ от 99 ₽. Прогресс сохраняется на той же теме.

Вопросы

Коротко о главном

Сколько времени займёт лекция?
Около 80 минут на 15 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.
Это бесплатно?
Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 30 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.
Что у меня останется после лекции?
Новую версию пускает только правило, записанное до прогона. На листе отличают регрессию, улучшение и строку вне знаменателя. В рамке ООО «Бумажный двор» автоматических строк семь, r5 вне счёта: А сдаёт 6 из 7, Б сдаёт 5 из 7, регрессии Б — r2 и r6, на срезе r1 и r2 правило нарушено, и Б не ставят вместо А. Это рамка, не замер модели. Чужой порог остаётся чужим образцом формы. «Свыше 80%» относится только к опыту Zheng и соавторов, декабрь 2023, GPT-4. ПНСТ 965-2024 действующей обязанностью не стоит, текст ГОСТ Р 59898-2021 не открыт, а платформа Evals таблицу листа не заменяет.
Чем эта лекция отличается от разбора блоков промпта и от приёмов запроса?
Промпт здесь объект сравнения, а не схема из роли, задачи, контекста и формата. Few-shot, цепочку рассуждения и декомпозицию лекция не разбирает: их держит другой пункт плана. Вопрос только один: какая из двух версий держит заранее записанный лист.
Можно ли взять себе F1 0,85, ROUGE-L 0,40 или 80% по G-Eval?
Нет. Это чужие примеры формы: F1 на 10 000 постов у Anthropic и цель пересказа у OpenAI. Рядом с каждым числом пометка, что это не порог читателя и не порог «Бумажного двора». Свой критерий записывают действием, которое можно провалить.
Почему версию Б не ставят вместо А, хотя она поймала письмо про двойное списание?
Правило рамки записано до прогона: на срезе r1 и r2 регрессий ноль, и сдач на семи автоматических строках не меньше, чем у А. У Б регрессия на r2, сдач 5 против 6 у А. Оба пункта нарушены. Пойманная r3 замену не разрешает. 6 из 7 не называют качеством магазина, колонки написаны для лекции, а не сняты с модели.
Обязан ли промпт-инженер соблюдать ПНСТ 965-2024 и пересказать ГОСТ Р 59898-2021?
Нет. Каталог Росстандарта 6 октября 2026 помечает ПНСТ 965-2024 «Отменен», в PDF срок до 1 января 2026, и действующей обязанностью его не ставят. Прочитана одна фраза области применения. ГОСТ Р 59898-2021 на перечне gost.ru есть, текст не открыт, лекция его не пересказывает и не обещает сертификат, соответствие или отсутствие претензий.

Оценка промпта: критерий, строки и две версии — открывается прямо сейчас

15 тем, 30 тестов и около 80 минут вашего времени. Первые темы — бесплатно и без регистрации: начните и решите по делу, а не по описанию.

Начать лекцию →

Уже проходили? Личный кабинет помнит, на чём вы остановились.

Другие лекции

Ещё из каталога

Каждая лекция открывается сразу — первые темы бесплатны, подписка открывает все.

Измеримый прогресс ученика

Утро 18.10.2026. Три листа одной профессии не усредняются. У Леры 2, 4, 5 и выполненное «5 из 6», клетка балла пустая…

14 тем · ~75 минут

Комментарий автору: критерий, один шаг и граница рук

Комментарий к сданному черновику называет место, уже готовый критерий, факт о куске и один шаг — без обещания удержать…

15 тем · ~65 минут

115-ФЗ глазами обычного человека

Банк запросил документы по переводу за проданную машину или по оплате самозанятому — и дальше всё решают сроки в…

17 тем · ~70 минут