Ассистент, который не читал документов компании
Вам — промпт-инженеру — поручили ассистента, который отвечает сотрудникам по внутренним документам компании: инструкциям, регламентам, договорам и тарифам. Модель умеет говорить и рассуждать, но есть проблема: этих документов она никогда не видела. На вопрос «какой у нас срок возврата по регламенту» она ответит гладко, уверенно — и не по вашему регламенту.
Первая мысль — просто вставить все документы в каждый запрос. Она не срабатывает дважды: каждый вложенный текст оплачивается в каждом ответе, а очень длинный запрос модель читает неравномерно — середину заметно хуже, чем начало и конец. Значит, всё подставлять нельзя: нужно находить несколько нужных кусков и подставлять только их.
Как устроена связка «сначала найти, потом ответить»: два контура — подготовка базы и ответ на вопрос. Где эта связка ломается, как измерить, что она работает, и как поставить задачу тем, кто будет её строить. Кода не будет: ваша роль — проектировать поведение ассистента и формулировать требования.
Одно предупреждение сразу: в этой теме много громких обещаний и мало измерений. Там, где исследования расходятся, лекция показывает расхождение с датами, а там, где универсального числа не существует, честно говорит об этом — вместо того чтобы выдать чужой эксперимент за норму.
Почему ассистент не знает ваших документов
Вы подключили модель к чату службы поддержки и задали рабочий вопрос: «Какой срок возврата по нашему регламенту?» Ответ пришёл мгновенно, гладкий и уверенный — и не совпадающий с вашим документом. Это не сбой конкретной модели: так происходит всегда, пока документы ей не показать. Причин три.
- Знания модели обрезаны датой обучения: всё, что появилось позже, ей неизвестно.
- Внутренние регламенты и договоры — приватные данные; в обучении они не участвовали.
- На вопрос о неизвестном модель не молчит — она сочиняет правдоподобный ответ.
Третья причина самая опасная: выдумку нельзя отличить от правды по уверенности тона. Почему модель устроена именно так — механизм выдумки, зоны риска и способы проверки — разбирает лекция «Галлюцинации: почему модель врёт». Здесь важно только следствие: раз документов модель не знает, их ей нужно как-то доставить.
Способ «доставить всё сразу» упирается в цену. В гайде Pinecone это сформулировано прямо: «the larger the context sent to the model, the higher the cost» — чем больше текста отправлено модели, тем выше стоимость. Вся база в каждом запросе означает, что каждый ответ оплачивает всю базу.
Вторая проблема — качество. В работе Liu и соавторов «Lost in the Middle» (первая версия — 6 июля 2023 года) измерено: когда модель отвечает по нескольким документам сразу, точность GPT-3.5-Turbo может падать более чем на 20%, а в худшем случае при 20–30 документах ответ с документами оказался хуже ответа вообще без них (56,1%). Кривая внимания U-образная: начало и конец длинного запроса читаются лучше середины — и это верно даже для моделей, созданных под длинный контекст. Подробный разбор эффекта есть в лекциях «Как устроены LLM» и «Анатомия промпта»; здесь он важен как причина не подставлять лишнее.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.