Письмо разобрала машина, и никто его не прочитал
Марина собирает автоматизации в сервисной компании. Месяц назад она собрала сценарий на общий ящик: входящее письмо попадает в шаг с языковой моделью, модель вытаскивает из текста реквизиты и определяет тему обращения, дальше заводится тикет, выбирается ответственный и готовится черновик ответа. На тесте сценарий отработал на двенадцати письмах из двенадцати.
Через две недели выяснилось, что в CRM лежат тикеты с номерами договоров, которых в письмах не было. Не пустые поля — заполненные. Правдоподобными номерами нужного формата.
Разница между чатом и сценарием ровно здесь. В чате ответ модели читает человек: не понравился — переписал запрос, получил другой. В сценарии в этот момент человека нет. Ответ модели уходит в запись базы, в ветвление, в отправку письма. То, что в диалоге было неприятностью, здесь становится дефектом данных, который обнаружится через две недели и уже размножится.
Эта лекция — про один узел: шаг с моделью внутри автоматического сценария. Когда его ставить, чем ограничить его свободу и чем проверить его выход машиной, раз человека рядом нет. Логика платформонезависима: конструктор поменяется, а вопросы останутся те же.
Она не учит писать промпт. Здесь запрос к модели — уже данность, предмет начинается там, где ответ ушёл дальше по трубе. Техника запроса — лекция «Анатомия промпта».
Она не объясняет природу галлюцинаций и не учит перечитывать ответ глазами — это лекция «Галлюцинации LLM». Здесь берётся только машинная проверка выхода.
Она не считает деньги: ни токенов, ни окупаемости, ни сметы. Это «Экономика ИИ-внедрения». Здесь допустима одна качественная формулировка: ИИ-шаг платный и медленный, поэтому не ставится там, где хватает правила.
Она не про транспорт (коды ответа, вебхуки, повторы доставки), не про типы и форматы значений, не про токены и права доступа, не про состав данных, которые нельзя отправлять в модель. У каждой из этих тем есть своя лекция в плане.
В конце вы вернётесь к сценарию Марины и увидите, в каком именно месте у него не хватало шага.
Ответ уходит в машину, а не человеку
Языковая модель в чате и языковая модель в сценарии — один и тот же инструмент в двух разных ролях. Отличается не модель, а то, кто принимает её ответ.
- Ответ читается сразу, до любого действия
- Ошибка видна в момент её появления
- Исправление — переписать запрос и нажать ещё раз
- Цена ошибки — минута времени
- Один запрос — один ответ, следующего не будет без человека
- Ответ никто не читает — он сразу идёт в запись, ветвление или отправку
- Ошибка не видна: сценарий не падает, он отрабатывает успешно
- Исправление — найти испорченные записи и разобрать их
- Цена ошибки — брак в данных, помноженный на число прогонов
- Шаг выполняется сотни раз в месяц, и каждый раз заново
Главное следствие: у ИИ-шага нет громкой ошибки. Обычный шаг, который не смог выполниться, ломается заметно — дальше по сценарию ничего не происходит, и об этом узнают в тот же день. ИИ-шаг почти никогда не ломается. Он возвращает что-нибудь: строку нужной длины, метку из похожих на правду, номер договора нужного формата. Сценарий принимает это и идёт дальше.
Поэтому вся эта лекция сводится к одному вопросу, который в чате не возникает: как машине понять, что машина ответила неправильно.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.