Как я перестал каждый раз тащить файлы в чат — и почему это изменило всё
Работаю с проектом — допустим, крупный клиент, куча кейсов, брифов, КП, презентаций. Открываю чат, начинаю накидывать файлы. Пять штук. Десять. Пятнадцать. И где-то на тринадцатом файле замечаю, что модель начинает «забывать» содержимое первых документов. Не потому что сломалась. Просто так работают механизмы внимания трансформеров: контекст конечен, и чем больше ты в него пихаешь, тем сильнее деградирует качество генерации к концу сессии. Механизм self-attention физически «размазывает» веса по всему объёму данных.
Я посидел, посчитал — и понял, что трачу огромное количество времени на ручной отбор файлов для каждой новой сессии. Думаю, какой файл добавить? Не перегружу ли контекст? А этот документ вообще нужен? Это не работа, это операционный ад.
Что реально решает проблему
У всех крупных провайдеров есть функция, которую большинство людей либо не замечают, либо не понимают, чем она отличается от обычной загрузки файла в чат.
Когда загружаешь файл напрямую в чат — он целиком занимает место в контекстном окне. Модель получает команду: обработай это полностью. Для одного документа — нормально. Для пятнадцати — катастрофа. Исследование «Lost in the Middle» (Liu et al., Stanford, 2023) доказало: языковые модели хуже всего воспроизводят информацию, расположенную именно в середине длинного контекста.
Когда загружаешь файлы в проект или бота — создаётся полноценная RAG-система (Retrieval-Augmented Generation). Агент не тащит всё в контекст разом. Он обращается к базе точечно, в момент генерации, по принципу семантического (векторного) поиска. Извлекает только релевантные фрагменты — не весь документ целиком.
Разница примерно как между тем, чтобы распечатать всю библиотеку и положить на стол, или просто знать, что библиотека рядом, и брать нужную книгу в нужный момент.
Лимиты — и почему 1 ГБ в чат не запихнёшь
Объёмы зависят от уровня подписки и конкретного провайдера. Актуальные цифры всегда лучше проверять в документации, потому что провайдеры регулярно их меняют.
Один показательный пример: Gem-боты в Gemini позволяют загрузить до 10 файлов по 100 МБ каждый. Это суммарно 1 ГБ текстовых данных. Физически невозможно уместить такой объём в контекст обычного чата — модель либо выдаст ошибку, либо качество ответов упадёт до уровня случайного угадывания.
Как я настраиваю промпт для работы с базой
Загрузить файлы — это только половина дела. Без чёткой инструкции модель будет обращаться к базе хаотично или вообще проигнорирует её, пытаясь ответить из своих базовых весов.
У меня в боте для контент-генерации лежат все посты с канала, кейсы агентства ResultUP, презентации и КП — всё то, что физически не умещается в контекст чата. Системный промпт строится из трёх обязательных элементов:
- Декларация базы: «К тебе подключена база данных кейсов агентства по разным нишам и тематикам».
- Инструкция по использованию: «При генерации любого текста обязательно найди в базе 1–2 релевантных кейса и органично интегрируй их в материал».
- Приоритет источника и пошаговость: «Используй базу знаний как приоритетный источник. Сначала извлеки подходящие кейсы и выведи их тезисно — и только после этого приступай к генерации текста. Не домысливай цифры».
Двухэтапная инструкция — «сначала найди, потом пиши» — критически важна для сложных промптов. Без неё модель начинает генерацию параллельно с поиском, и ИИ «срежет углы»: кейсы будут вставлены криво, а данные не согласуются с текстом.
На практике бот находит релевантные посты по теме, подбирает кейс — и только потом собирает материал. Каждый выходной текст содержит реальные данные, а не общие слова.
Когда двухэтапный промпт нужен, а когда только тормозит
Обращение к RAG-базе потребляет вычислительные ресурсы. Если задача простая — двухшаговая схема только замедляет работу.
Моё правило: двухэтапный промпт нужен, когда в одном запросе больше трёх действий или когда качество результата напрямую зависит от точности извлечённых данных. Для быстрых задач достаточно одной четкой инструкции в системном промпте.
Если работаете с тяжёлыми базами и скорость критична — смотрите на подписки уровня PRO, TEAM или ULTRA (у ChatGPT и Gemini это около 200 долларов в месяц). Они дают существенно больший вычислительный лимит (compute budget) на один запрос, что ощутимо при регулярной работе. Если вы производите контент в потоке, запускаете посадочные страницы или продаёте тексты клиентам — не экономьте на подписке, это окупается. В масштабах агентства это экономит от 8 до 15 часов менеджерского времени ежемесячно.
Что в итоге
Один раз собрал структурированную базу под проект — и убрал ручную работу по подбору контекста из каждой сессии навсегда. Именуйте файлы понятно (например, кейс_ecommerce_рост_47процентов.pdf), чтобы семантическому поиску было проще за них зацепиться.
Исследование Anthropic «Contextual Retrieval» (2024) показало: правильно настроенный поиск снижает количество «промахов» при извлечении информации на 49% по сравнению с базовым chunk-поиском. Каждый второй запрос к плохо настроенной базе возвращает нерелевантный фрагмент — это не абстрактная цифра, это конкретные потери в качестве выходного контента.
Поэтому качество промпта для базы знаний важно не меньше, чем качество самих загруженных данных.
Сейчас допиливаю этого агента дальше и открыто делюсь дневником разработки — удачными промптами, архитектурой, граблями, на которые наступал. Всё это в канале @seokotenkov. Если тестируете похожие связки — залетайте, обсудим.