14 тем · ~45 минут · 42 теста

Лекция «Мультимодальные модели: картинка, документ и звук»

Промпт-инженер называет дверь файла — картинка, страница или звук — и ставит задачу так, чтобы пустое поле осталось пустым.

Начать бесплатно Программа лекции
Для кого

Для промпт-инженера, который пишет инструкцию на трёх рабочих местах: снимок окна с ошибкой для бота поддержки, счёт в PDF со слоем текста и графиком, запись созвона на 40 минут.

Базовый уровень — с нуля
Что получишь

После лекции вы сможете

  • Назвать дверь файла: зрение кадра, текстовый слой, зрение страницы, OCR, расшифровка или модель со звуком на входе
  • Сверить лимит с карточкой модели в запросе и не склеивать расходящиеся потолки страниц и сетки токенов
  • Поставить пустое поле «нет на странице» и снять число только с печатной подписи
  • Развести расшифровку с метками говорящих и вход «модель принимает звук» на записи созвона
  • Отсечь до отдачи медицинский скан, имя человека, CAPTCHA, детектор кадра и снимок персональных данных
Программа

14 тем и 42 теста на понимание

Каждая тема — один экран и одна мысль. В конце темы — ситуационные вопросы: ответили верно, идёте дальше.

Часть 1. Что модель получает

1

Три двери, не одна кнопка

2

Что остаётся от картинки

3

Ручка detail и отказ сверх лимита

4

Пятно Claude и два яруса

Часть 2. Счёт, пространство и страница

5

Счёт и «слева» — слабый класс

6

PDF: буквы и картинка страницы

7

Два потолка и две сетки токенов

8

Три слоя счёта

Часть 3. Звук и российские двери

9

Расшифровка — другой контракт

10

Сорок минут до инструкции

11

Слово в названии и список входов

Часть 4. Постановка и проверка

12

Файл, действие и пустое поле

13

Окно ошибки, счёт и созвон

14

Красные линии до отдачи

Темы лекции: промпт-инженер, изображение, документ, аудио, мультимодальный вход

Обновлено: 3 октября 2026

Как устроено обучение

Читаете, отвечаете, видите результат

Интерактивная лекция с тестами: тема — экран текста, за ним вопрос по этой же теме. Ни видео, ни вебинаров, ни дедлайнов.

Тесты внутри тем

42 теста по ходу лекции — ситуационных, на понимание, а не на зубрёжку.

Старт — бесплатно и сразу

Первые темы открыты без регистрации: нажали — учитесь. Понравилось — продолжите по аккаунту, полный доступ от 99 ₽. Прогресс сохраняется на той же теме.

Вопросы

Коротко о главном

Сколько времени займёт лекция?
Около 45 минут на 14 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.
Это бесплатно?
Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 42 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.
Что у меня останется после лекции?
Инструкция называет файл и дверь: зрение кадра, текстовый слой, зрение страницы, OCR, расшифровка или модель со звуком на входе. Снимок окна даёт дословный текст ошибки и подписи кнопок. Строки счёта снимают из текстового слоя, неподписанный график цифрами не становится. Созвон на 40 минут не обещает протокол «кто сказал», если меток говорящих нет в карточке; на сетке Gemini 3 это около 60 000 токенов входа до инструкции. Пустое поле — одно значение «нет на странице». Потолки 1 000 и 3 000 страниц, 258 токенов и сетка 280 / 560 / 1 120 не склеивают. Цену токена и выбор вендора лекция не делает.
Есть ли одно число токенов на любую картинку?
Нет. У OpenAI пятно и ручка detail зависят от семьи, таблицу семей лекция не копирует. У Claude пятно 28×28 и два яруса: длинная сторона до 2 576 px и до 4 784 визуальных токенов у Claude 4.7 и новее, до 1 568 px и до 1 568 у остальных. Страница document-processing пишет 258 токенов на страницу PDF, страница Media resolution для Gemini 3 — 280, 560 или 1 120 плюс родной текст. Сводить это в одну формулу нельзя. Страницы открыты 03.10.2026, карточку в запросе сверяют.
Какой потолок страниц PDF у Gemini считать рабочим?
Ни один как вечный. Страница document-processing на 03.10.2026 говорит до 1 000 страниц и 50 МБ. Карточка Gemini 2.5 Pro, обновление 02.10.2026, и карточка Gemini 3 Pro называют до 3 000 страниц на файл. Оба текста официальные. Перед задачей смотрят карточку той модели, которая стоит в запросе. Ниже любой из записей длинный PDF не обещают прочитанным целиком: окно и плотность наступают раньше.
Запись созвона сама ставит метки говорящих?
Нет. Страница Transcription, дата в выдаче 02.10.2026, относит метки говорящих к файловой расшифровке gpt-4o-transcribe-diarize. Метки времени слов и субтитры srt/vtt — whisper-1. gpt-live-transcribe не возвращает пословные метки, метки говорящих и оценку уверенности. Модель, у которой звук указан во входе, — другой контракт. GigaChat 2 Lite на 03.10.2026 звук на вход не принимает.
Можно ли перенести 58,07% и 77,84% на модель октября 2026?
Нет. Это BlindTest, arXiv:2407.06581: средняя точность четырёх сильных на тот момент моделей 58,07%, лучший результат ревизии v6 от 27.03.2025 — Claude 3.5 Sonnet, 77,84%. Ожидание человека на тех задачах — 100%. Замер моделей 2024–2025 годов. На октябрь 2026 доли не переносят и вендора по ним не выбирают.
GigaChat 2 Lite и Max на 03.10.2026 одинаково принимают картинку и звук?
Нет. У Lite вход — текст, окно 128 000 токенов, анализа изображений и анализа аудиофайлов в возможностях нет. У Max вход — текст, изображение и аудио, окно тоже 128 000, анализ аудиофайлов и анализ изображений названы. Карточку GigaChat 2 Pro в проходе не открывали, по Max её не достраивают.
Потолок файла звука 25 МБ ещё действует?
Его писала страница Speech to text с датой в выдаче 06.04.2026. Страница Transcription от 02.10.2026 в просмотренном фрагменте этот потолок не повторяет. Перед задачей байтовый потолок сверяют, а не заучивают с апреля. Форматы той апрельской страницы: mp3, mp4, mpeg, mpga, m4a, wav, webm.

Мультимодальные модели: картинка, документ и звук — открывается прямо сейчас

14 тем, 42 теста и около 45 минут вашего времени. Первые темы — бесплатно и без регистрации: начните и решите по делу, а не по описанию.

Начать лекцию →

Уже проходили? Личный кабинет помнит, на чём вы остановились.

Похожие лекции

По тем же темам

Каждая лекция открывается сразу — первые темы бесплатны, подписка открывает все.

Галлюцинации: почему модель врёт — механизм выдумки, зоны риска и проверка, которая что-то значит

Выдумку не чинят обновлением: она следует из того, как модели обучают и оценивают. Семнадцать тем разбирают, почему…

17 тем · ~75 минут

Данные в нейросетях — что нельзя отправлять в модель, куда уходит текст запроса и чем за него отвечает компания

Сотрудник вставил в чат-бот выгрузку на 1 240 клиентов и ушёл домой: семнадцать тем о том, куда физически уходит текст…

17 тем · ~60 минут

Как устроены LLM — токены, вероятности и контекстное окно, из которых складывается ответ

Модель не отвечает на вопрос: она считает вероятности следующего токена и выбирает один, повторяя это на каждом шаге…

17 тем · ~60 минут