Галлюцинация — это ответ, который выглядит как знание, но им не является. Модель не «лжёт»: она продолжает текст наиболее правдоподобным образом, и правдоподобие тут — не синоним правды. В рабочем контуре это главный источник недоверия: один уверенно выдуманный пункт договора обесценивает сотню правильных ответов.
Мы называем это режимом обязательного цитирования, и обещание тут предельно узкое: каждый ответ содержит ссылку на документ и раздел, а если релевантного фрагмента в базе нет — система отвечает «не найдено». Раньше этот режим назывался «Zero-Hallucination Mode»; название было маркетинговым и обещало то, чего не может дать никакая архитектура, поэтому мы от него отказались. Полноценно, с отдельным проверяющим проходом, режим работает на Tier 2 (AI Power), где под проверку выделена вторая карта.
Что уже сделано до всякой мультиагентности
Базовая защита от выдумок — не в хитрой схеме, а в дисциплине источников. Модель отвечает не «из головы», а по фрагментам, найденным в вашей базе знаний, и обязана сослаться на файл и раздел. Это отсекает целый класс ошибок: там, где нечего процитировать, отвечать не из чего. Насколько этот класс велик, мы измерили: без базы знаний три модели не ответили верно ни на один из пятидесяти вопросов, а старшая из них ни разу не отказалась отвечать — разбор замера.
Остаточный риск в двух местах. Первое: найден правильный фрагмент, но модель пересказала его неточно — переставила условие, потеряла отрицание, обобщила частный случай. Второе: фрагмент найден не тот, а ответ по нему построен безупречно — формально корректно, по сути мимо.
Как устроена перекрёстная проверка
Схема разносит одну задачу на несколько ролей, и роли не доверяют друг другу:
- Извлечение. Первый проход собирает кандидатов из гибридного поиска и формирует черновой ответ со ссылками.
- Проверка. Второй проход получает черновик и исходные фрагменты и отвечает на единственный вопрос: подтверждается ли каждое утверждение текстом источника. Не «звучит ли это правдоподобно», а «есть ли это в приложенном куске».
- Сборка. Утверждения без подтверждения либо снимаются, либо помечаются как неподтверждённые — в зависимости от настройки контура.
Ключевая деталь: проверяющий проход не видит внешних знаний и не должен «догадываться». Его задача — сверка с текстом, а не рассуждение о мире. Именно поэтому схема ловит вторую ошибку из двух названных выше, а первую превращает из молчаливой в заметную.
Вместо гладкого ответа на любой вопрос появляется ответ, у которого части имеют разный статус: подтверждено источником, не подтверждено, не найдено. Пользоваться этим поначалу непривычно, зато проверять — быстро.
Чем платим
Ничего бесплатного здесь нет, и цена вполне конкретная.
- Время ответа. Проходов больше одного, значит, и ждать дольше. На коротких вопросах разница незаметна, на разборе многостраничного документа — вполне.
- Видеопамять. Держать несколько ролей и длинные контексты на одной карте в 16 ГБ — путь к выгрузке моделей по кругу. Отсюда вторая карта на Tier 2: проверяющий проход и голосовые модели уезжают на неё, а языковая модель остаётся на первой.
- Отказы вместо ответов. Система чаще говорит «в документах этого нет». Для руководителя, привыкшего к бодрым ответам чат-бота, это выглядит как ухудшение — ровно до первого случая, когда бодрый ответ оказался выдумкой.
Чего эта схема не даёт
Она не гарантирует отсутствие ошибок. Никакая архитектура этого не гарантирует, и любой, кто обещает ноль галлюцинаций как свойство продукта, продаёт вам уверенность, а не технологию.
Проверка сверяет ответ с источником — она не проверяет сам источник. Если в базе лежит устаревшая редакция регламента, ответ будет корректно подтверждён устаревшим документом. Актуальность содержимого базы остаётся зоной ответственности человека, и это не отговорка, а неустранимое свойство схемы.
Не спасает она и от неправильно заданного вопроса. Если спрашивать не то, ответ будет добросовестно подтверждён не тем.
Не «система не галлюцинирует», а «система реже выдумывает молча». Разница принципиальная: во втором случае у вас есть способ увидеть, где она не уверена, и решение остаётся за вами.
Коротко
Режим обязательного цитирования — это разделение ролей: один проход отвечает, другой сверяет ответ с приложенным текстом, а неподтверждённое снимается или помечается. Он заметно снижает долю уверенных выдумок и делает неуверенность видимой. Платите за это временем ответа и видеопамятью, поэтому отдельный проверяющий проход живёт на Tier 2. Ответственность за актуальность документов остаётся у вас — и это единственное честное распределение ролей. Десять примеров того, как выглядит отказ отвечать, собраны на основном сайте.