Лекция «RAG: как LLM подключают к базе знаний»

Около 55 минут на 14 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 27 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Четырнадцать тем о том, как языковую модель подключают к базе знаний, — без кода и без громких чисел. Начало — входная ситуация: ассистент компании не знает внутренних документов (знания обрезаны датой, данные приватны, а на неизвестное модель сочиняет), а «вставить всё в промпт» не выходит ни по цене, ни по качеству (Lost in the Middle, 2023). Дальше — принцип «поиск + генерация» с именем и датой (Lewis et al., май 2020, NeurIPS 2020) и два контура: индексация (документы → куски → векторы → хранилище) и ответ (вопрос → поиск top-k кусков → подстановка в промпт → генерация). Отдельные темы — разбиение на куски без «единого верного размера» (Pinecone: универсального решения нет; числа LlamaIndex, Databricks и Anthropic — эксперименты вендоров на своих данных), эмбеддинги как координаты смысла и их промах на точных строках (пример Anthropic с кодом TS-999), гибридный поиск и реранкинг, шаблон подстановки контекста и почему ссылка на источник — не гарантия факта. Карта поломок — семь точек отказа Barnett et al. 2024 с выводом «проверка RAG-системы возможна только в эксплуатации». Дальше эксплуатация: права доступа и фильтр по меткам до выдачи, свежесть векторов, отсечка «нужен ли поиск вообще» (~500 страниц, правило вендора Anthropic) и спор с длинным контекстом как расхождение источников с датами (NVIDIA 2023, DeepMind 2024, Li et al. 2024). Финал практический: три оси замера из первички RAGAS, золотой набор вопросов с пополнением из логов, чек-лист постановки задачи из восьми пунктов, горизонт приёмов (HyDE, Self-RAG, CRAG, contextual retrieval) и нейтральная карта хранилищ без рейтингов.

Нет, и лекция построена именно из этого: кода в ней нет. Роль промпт-инженера — проектировать поведение ассистента и ставить задачу строителям: что за документы и как часто меняются, есть ли точные строки (тогда обязателен гибридный поиск), кому что видно (метки доступа и фильтр до выдачи), что отвечать при «не нашлось», по какому золотому набору принимать систему и как наблюдать за отказами после запуска. Механика дана ровно в том объёме, который нужен для такой постановки, — с именами, датами и пометками, где число является экспериментом вендора на своих данных.

Нет: база снижает выдумки, но не обнуляет их. Универсального числа «на сколько процентов» не существует в первичке — есть задачно-специфичные замеры: в работе Lewis et al. 2020 человеческая оценка на 452 парах генераций Jeopardy показала, что RAG фактичнее базовой модели в 42,7% случаев против 7,1% наоборот. Модель может неверно пересказать найденный кусок или ответить мимо него (точка отказа FP4 «Not Extracted» у Barnett et al.), поэтому ссылка на источник — способ проверки, а не гарантия факта. Механизм самих выдумок разбирает соседняя лекция «Галлюцинации: почему модель врёт».