Лекция

Файл — это не текст запроса

Лекция для промпт-инженера. Мультимодальный вход здесь — запрос, в котором вместе с текстом задачи есть изображение, звук или документ. Выход, который ставит промпт-инженер, — текст: поля, цитата, «на странице нет». Генерация новой картинки сюда не входит.

Рабочих мест три, примеры идут из всех трёх. Первое: инструкция боту поддержки, на вход приходит снимок окна с ошибкой, нужно снять видимый текст ошибки и подписи кнопок. Второе: инструкция по счёту в PDF, часть файла — текстовый слой, часть — печать, подпись и график на второй странице. Третье: инструкция по записи созвона на 40 минут — имена, суммы и кто что сказал. Расшифровка и «модель принимает звук» — разные обещания.

Своя территория

Три входа, которые не являются текстом запроса: изображение, звук, документ. Что модель из файла реально получает. Где вендор сам пишет отказ. Как поставить задачу так, чтобы пустое поле осталось пустым. Как не спутать расшифровку, чтение текстового слоя и «модель посмотрела».

Картинка, страница и секунда звука тоже становятся токенами и едят то же окно. Как устроен ответ из текста — лекция kak-ustroeny-llm. Общую анатомию текстового запроса, выбор вендора и цену токена здесь не собираем. Карточки вендоров — примеры того, как лимит записан и как карточки расходятся, не рейтинг «кто лучше».

Как читать числа

Страницы вендоров открыты 03.10.2026. Числа лимитов — с этих страниц, они двигаются. Каждое такое число идёт с датой и с оговоркой: сверь карточку модели в запросе. Учебные размеры файлов ниже — арифметика лимита, не норма «хорошего» файла. Где две официальные страницы расходятся, лекцию не выбирает сторону.

Тема 1 из 14 · Что модель получает

Три двери, не одна кнопка

Пока дверь не названа, инструкция «разбери вложение» не имеет предмета. Один и тот же жест «прикрепил файл» попадает в разные продукты. Это не выбор лучшей модели.

Куда девается вложение
Что прислалиЧто это за дверь
КартинкаЗрение: модель получает пятна, а не имя файла
PDF с текстовым слоемМожет отдать и буквы, и картинку страницы
PDF-сканТолько картинка страницы
DOCX, XLSX, HTML, Markdown у части вендоровИзвлечённый текст, график из файла пропадает
ЗвукЛибо отдельная расшифровка, либо модель, у которой звук указан во входе
Отдельный OCR или отдельный сервис речиТретья дверь: это не чат, который умеет всё

Расшифровка на выходе даёт текст, иногда без спикеров и без меток времени. Модель, у которой звук указан во входе, — другой контракт. Смешивать их в одной фразе «разбери запись» нельзя.

INFERENCE

Первая строка задачи — что это за файл и какая дверь его читает. На трёх рабочих местах предмет разный: снимок окна ошибки — зрение кадра; счёт PDF — вопрос, есть ли текстовый слой; созвон на 40 минут — ещё не протокол «кто сказал». Как ставить каждое, разбирают отдельные темы. Здесь только развилка.

Бот поддержки получил снимок окна с ошибкой. Какая первая строка инструкции?
Жест «прикрепил» сам дверь не выбирает. Снимок — зрение: пятна кадра, не имя файла. Буквы текстового слоя и расшифровка звука здесь ни при чём. Предмет задачи — видимый текст ошибки и подписи кнопок, но сначала называется дверь.
PDF-скан без текстового слоя. Что модель получает?
Скан — стопка картинок страницы. Буквы текстового слоя есть у другого PDF, не у скана. Имя файла зрение не читает: это свойство картинки, его разбирает следующая тема.
У части вендоров DOCX, XLSX, HTML и Markdown уходят как извлечённый текст. Что с графиком внутри файла?
Извлечённый текст — не зрение страницы. График в этом пути пропадает. Отдельный сервис распознавания букв — третья дверь, не «тот же чат, только умнее».
Бесплатный доступ

Дальше нужен аккаунт

Прогресс и монеты сохранятся.