Как мы перестроили проверку источников после ИИ и снизили риск фейков в работах?

Если команда не меняет процесс проверки, она начинает получать красиво оформленные тексты с непрозрачной доказательной базой.

В нашей практике в `disshelp.ru` это проявилось довольно быстро. Клиенты стали приносить не только собственные черновики, но и фрагменты, собранные с помощью нейросетей. Тексты выглядели аккуратно, логика на первом чтении казалась убедительной, но часть ссылок в списках литературы не проходила нормальную проверку. Для образовательного сервиса это не просто редакторская ошибка. Это риск потери доверия, перерасхода часов экспертов и повторной переделки почти готовой работы.

Мы пересобрали процесс проверки источников как отдельный quality gate и посмотрели, что это меняет на операционном уровне.

Что сломалось в старом процессе?

Старый контур проверки был нормален для эпохи до массового ИИ. Эксперт собирал базу, редактор выборочно смотрел спорные позиции, а финальная вычитка проверяла оформление и общую логику списка литературы. Такая схема работала, пока большинство проблем были обычными: устаревшая ссылка, неполный выходной набор данных, ошибка в ГОСТ-оформлении.

После ИИ профиль риска изменился. Мы начали видеть три новых сценария.

1. Источник выглядит академично, но его нельзя подтвердить по названию, автору и году.
2. Источник существует, но модель перепутала журнал, выпуск или страницу.
3. В тексте есть корректная мысль, но ссылка под нее подобрана «по смыслу», а не по реальному содержанию работы.

На старом процессе такие ошибки проходили слишком далеко по воронке. Их находили уже после того, как эксперт потратил время на интеграцию аргумента в структуру главы.

На какой выборке мы пересобирали процесс?

Мы не брали абстрактные кейсы. Для пересборки процесса использовали внутреннюю обезличенную выборку из 62 черновиков, где в том или ином виде применялись ИИ-инструменты для поиска литературы, плана или первичной сборки текста.

Что увидели на старте:

• в 24 черновиках были ссылки, которые требовали полной перепроверки;
• в 17 случаях проблема была не в полном отсутствии источника, а в неправильных выходных данных;
• в 11 случаях источник был реальным, но не подтверждал тезис в том виде, как он был встроен в текст;
• среднее время ручной досборки и исправления одного проблемного блока доходило до 38 минут.

Для команды это означало простой вывод: проблема не в том, что ИИ «плохой», а в том, что мы слишком поздно ставим точку проверки.

Что мы поменяли в процессе?

Мы отказались от идеи, что проверка источников может оставаться фоновым действием редактора. Вместо этого вынесли ее в отдельный короткий контур до глубокой текстовой доработки.

Новая схема состоит из четырех последовательных ворот качества.

Важно, что этот контур не делал процесс тяжелее ради порядка. Мы сократили глубину проверки на поздних этапах и перенесли основную нагрузку вперед, пока текст еще не начал «обрастать» зависимостями.

Как именно мы упростили верификацию?

Чтобы quality gate не превратился в медленную бюрократию, мы добавили три простых правила.

Первое правило: каждый новый источник должен пройти короткую карточку подтверждения. В ней фиксируются название, автор, год, тип источника, канал проверки и комментарий, почему он вообще попал в работу.

Второе правило: ИИ может помогать искать кандидатов, но не может сам закрывать вопрос достоверности. Любая найденная через модель позиция получает статус «кандидат», пока человек не подтвердит ее существование и релевантность.

Третье правило: если источник не подтверждает тезис в нужной формулировке, мы не «дотягиваем» аргумент до ссылки, а пересобираем сам тезис. Это болезненно для скорости первого черновика, но полезно для итогового качества.

По сути, мы перестали измерять качество списка литературы только полнотой и красивым оформлением. Мы начали измерять качество тем, насколько каждая ссылка выдерживает проверку на существование и смысловую опору.

Что получилось через месяц?

Новый процесс мы сначала запускали как пилот, без перестройки всей редакционной логики. Уже на коротком отрезке эффект был заметен.

• доля черновиков, где на поздней стадии всплывали неподтвержденные источники, снизилась с 39 процентов до 14 процентов;
• среднее время на исправление одного проблемного блока сократилось с 38 до 21 минуты;
• число возвратов текста на повторную экспертную вычитку снизилось на 28 процентов;
• редакторы стали раньше понимать, где проблема в ссылке, а где в самой аргументации.

Самое полезное изменение было даже не в процентах. Команда перестала спорить о том, «похоже ли это на настоящий источник», и начала работать через единый короткий протокол.

Что бы мы не повторяли?

На старте мы попробовали слишком подробную форму карточки источника, и это быстро перегрузило редакторов. Если в карточке десять полей, команда начинает заполнять ее формально. Для операционного процесса лучше работает минимальный набор обязательных проверок, который реально соблюдается каждый день.

Еще одна ошибка была в том, что мы сперва хотели разделить проверку по типам работ слишком рано. На практике базовая логика оказалась общей и для дипломов, и для магистерских, и для исследовательских статей. Специализация нужна позже, когда основной quality gate уже стабилен.

Наконец, мы убедились, что нельзя переносить ответственность за проверку на одного «сильного редактора». Пока процесс не разложен по ролям, качество держится на героизме конкретного человека и начинает проседать при любой нагрузке.

Где ИИ полезен, а где мешает?

В этой теме легко уйти в крайности. С одной стороны, нейросети действительно ускоряют первичный поиск формулировок, ключевых слов, смежных направлений и возможных кластеров литературы. С другой стороны, именно эта скорость провоцирует ложное ощущение, что база уже собрана.

Для нас рабочей оказалась простая модель:

• ИИ помогает расширить карту поиска;
• человек подтверждает существование и релевантность;
• редакционный процесс не принимает ссылку в работу без короткого следа проверки.

Такой подход не демонизирует ИИ и не делает из него центральный источник истины. Он возвращает моделям правильную роль: инструмент ускорения, а не замену контрольного контура.

Почему этот кейс важен не только для академической ниши?

Проблема фейковых источников на самом деле шире любой конкретной отрасли. Любой сервис, который продает экспертизу, контент, аналитику или сопровождение решений, теперь сталкивается с одним и тем же вопросом: как встроить ИИ в процесс так, чтобы не потерять доверие к результату.

Если у команды нет явного quality gate для проверки доказательной базы, ИИ сначала повышает скорость, а потом незаметно увеличивает стоимость исправлений. Это особенно чувствительно в сервисах, где клиент редко может сам быстро проверить глубину материала, а значит доверяет репутации процесса.

Короткий итог

После ИИ выигрывает не та команда, которая быстрее всех собирает черновик, а та, которая раньше всех ставит проверку на критические артефакты. Для нас таким артефактом стали источники. Когда мы вынесли их в отдельный контур проверки, качество перестало зависеть от внимательности конкретного редактора и стало частью операционной системы сервиса.

Если смотреть на это как на управленческую задачу, главный вывод простой. ИИ не отменяет контроль качества. Он делает его обязательным и более ранним. Чем быстрее команда это признает, тем дешевле ей обходится рост скорости.