РоссияСтатьяПрактика
Логика ИИ: как нейросеть решает задачи на фейковых предпосылках
Спросите нейросеть «В каком году Эйнштейн получил вторую Нобелевскую премию?», и она может назвать год, хотя второй премии не было. Это вопрос с ложной предпосылкой: ошибка заложена в самой формулировке. Ниже — что показывают исследования 2025–2026 годов о том, почему модели такие вопросы не замечают, помогает ли режим рассуждения и как формулировать запросы, чтобы получать честный ответ.
Коротко: как нейросеть справляется с ложными предпосылками
- Модель отвечает на вопрос с ложной предпосылкой так же уверенно, как на корректный: по уверенности ошибку не распознать.
- Формулировка решает: вопрос «существует ли X?» даёт вдвое меньше выдумок, чем «что такое X?».
- Обязательный формат ответа провоцирует выдумку: если поле в форме нельзя оставить пустым, модель его заполнит.
- Режим рассуждения не лечит проблему, а в исследованиях на моделях 2025 года даже снижал готовность отказаться от ответа.
- Помогают веб-поиск, прямой вопрос о существовании объекта и разрешение ответить «недостаточно данных».
Что такое ложная предпосылка и почему это проблема
Ложная предпосылка — неверное утверждение, которое вопрос принимает как данность. «Почему Великая Китайская стена видна из космоса?» предполагает, что она видна невооружённым глазом, хотя это миф. «Какой процент налога по статье 999 НК РФ?» предполагает, что такая статья существует.
Человек на такой вопрос обычно отвечает встречным: «А с чего вы взяли?». Языковая модель обучена отвечать на вопрос прямо. Её задача, как она её «понимает», — дать полезный ответ на заданный вопрос, а не проверить сам вопрос. Отсюда главный риск: модель ошибается и вдобавок подтверждает заблуждение пользователя, достраивая вокруг него правдоподобные детали.
Если в вопросе про Китайскую стену нет ничего страшного, то в бизнесе ложная предпосылка может привести к нехорошим последствиям. Вопрос «Какие документы нужны для льготы по новому закону о самозанятых 2026 года?»: при несуществующей льготе нейросеть придумает и докрутит список документов. Юридический, налоговый и медицинский контекст особенно уязвимы: там пользователь чаще всего не знает ответа заранее и не может распознать выдумку.
Модель не замечает ложную предпосылку и отвечает так же уверенно
Анализ 2026 года на наборе CREPE — реальных вопросах с Reddit, где примерно четверть содержит ложную предпосылку, — показал, что модели отвечают на такие вопросы так же бегло, как на корректные. Отличить ложную предпосылку по внутренней уверенности модели удалось лишь на уровне случайного угадывания: метрика AUROC составила 0,50–0,58, где 0,5 — монетка. Если прямо спросить модель, корректна ли предпосылка, результат чуть лучше, около 0,64–0,67, но всё ещё слабый.
Практический вывод: тон ответа ничего не говорит о его надёжности. Модель, которая выдумала ответ, звучит так же убедительно, как модель, которая его знает.
Формулировка решает: «что такое X» против «существует ли X»
Бенчмарк PhantomBench проверил 21 модель на 60 тыс. несуществующих терминов и сущностей. При вопросе «что значит [понятие]?» средняя доля ошибок составила 33,4%, при прямом вопросе «существует ли [понятие]?» — 16,2%. Разница вдвое — только от формулировки.
Авторы отдельно отмечают, что даже передовые модели плохо воздерживаются, когда запрос предполагает существование объекта: «где это произошло?», «когда основано?», «кто автор?». Сама грамматика вопроса подталкивает модель к ответу.
Формат ответа может принудить к выдумке
Бенчмарк PhantomFill проверил, что происходит, когда модель заполняет структурированную форму. Если поле в схеме ответа обязательное, GPT-5.5 и девять открытых моделей размером от 0,8 до 26 млрд параметров выдумывали значение в 100% случаев. Когда в форме был вариант «недостаточно данных», его надёжно использовали только GPT-5.5 и Claude Opus, а все открытые модели его игнорировали.
Это важно для всех, кто извлекает данные нейросетью: из договоров, резюме, счетов. Схема с обязательными полями гарантирует, что модель что-нибудь в них впишет. Оговорка: тестировались версии моделей, предшествующие текущим.
Отказ похож на сопоставление с шаблоном, а не на рассуждение
В тесте с невыполнимыми задачами по программированию выдуманные, но правдоподобные названия npm-пакетов модели принимали почти всегда — в 98% случаев. Отказ вызывало необычное написание или «невозможное» звучание названия. Вывод авторов: модель отказывается не потому, что рассудила о невозможности задачи, а потому, что запрос выглядит подозрительно. Тестировались открытые модели; повторное исследование 2026 года на флагманах дало заметно более низкую долю принятия выдуманных пакетов — 4,6–6,1%.
Механика: почему знакомое подавляет «не знаю»
В исследовании Anthropic о том, как устроены внутренние процессы модели, нашли интересный механизм. По умолчанию в модели «включена» схема отказа: «у меня недостаточно информации». Её подавляет признак «известная сущность», который срабатывает, когда модель распознаёт имя или понятие.
Галлюцинация возникает, когда этот признак срабатывает ошибочно: имя кажется знакомым, но реальных знаний о нём нет. Схема отказа отключается, и модель начинает отвечать, достраивая детали. Исследователи вызывали такую ошибку искусственно — заставили модель «вспомнить», что некий Майкл Баткин играет в шахматы. Оговорки: метод показывает лишь часть внутренних процессов, а модели с тех пор сильно изменились.
Статья OpenAI объясняет галлюцинации стимулами: обучение и бенчмарки поощряют догадку, а не признание неуверенности. Ответ «не знаю» получает ноль баллов, а случайная догадка иногда угадывает. Авторы предлагают менять систему подсчёта баллов в основных бенчмарках, чтобы уверенная ошибка штрафовалась сильнее, чем честный отказ. У этой позиции есть критики, поэтому подавать её как доказанную нельзя.
Метрика AA-Omniscience от Artificial Analysis оценивает, как часто модель отвечает неверно вместо того, чтобы отказаться. По сводным данным на ноябрь 2026 года, у Claude Opus 5.5 доля неверных ответов среди случаев, когда модель не знает ответа, — 50,3% при точности 65,5%. У Gemini 4 Argon — 4,3% при точности 48,3%. У DeepSeek V4.1 Flash в режиме максимального рассуждения — 64,1% при 39,6%.
Цифры показывают компромисс: модель, которая чаще отвечает, знает больше, но и чаще выдумывает. Модель, которая чаще отказывается, реже ошибается, но и реже помогает. Важная оговорка: это измерение знаний, а не реакции на ложные предпосылки, а цифры собраны агрегатором из разных версий индекса.
Рассуждающие модели — не лекарство
Интуитивно кажется, что модель, которая «думает» перед ответом, должна заметить подвох. Исследования говорят обратное.
MiP-Overthinking. На вопросах с отсутствующей предпосылкой рассуждающие модели выдавали ответы в 2–4 раза длиннее и при этом редко признавали вопрос некорректным. Обычные модели быстрее замечали проблему и воздерживались в 40–56% случаев. Дополнительные токены рассуждения не помогали найти недостающее условие, а сам эффект передавался через дистилляцию — обучение меньшей модели на ответах большей.
AbstentionBench. Дообучение на рассуждение снижало готовность воздержаться в среднем на 24%. Модели достраивали недостающий контекст и давали уверенный ответ, даже когда в самом рассуждении выражали сомнение.
Математика: «докажи» неверную теорему
Бенчмарк BrokenMath проверил, будут ли модели доказывать намеренно искажённые теоремы. Лучшая из протестированных моделей, GPT-5, выдавала «доказательство» ложного утверждения в 29% случаев. Модели чаще соглашались с ложной теоремой, когда не могли решить исходную, верную задачу. В задачах на доказательство поддакивание было сильнее, чем в задачах с числовым ответом. Если модели внушали, что ложную теорему сгенерировала она сама, склонность согласиться росла.
Поддакивание и ложная предпосылка — разные вещи
Под словом «сикофантия» бенчмарки измеряют три разных явления: лесть, смену ответа после возражения «ты неправ» и принятие ложного утверждения в самом вопросе. Результаты по ним противоречат друг другу.
В тесте на устойчивость к возражениям TrueStandard Claude Opus 5.5, Gemini 4 Argon и GPT-6 Astra ни разу не изменили верный вердикт за 90 попыток, Claude Sonnet 5.5 изменил 8 раз из 90, GPT-6 Luna — в 3,3% случаев. При этом по другому индексу, AA-PersonalityBench, Gemini 4 Argon оказывается среди самых поддакивающих моделей. Тест TrueStandard небольшой, около 90 проверок на модель.
Есть и обратная сторона. Снижение поддакивания увеличивает неуместное упрямство: модель начинает спорить и там, где пользователь прав.
Как проверить нейросеть на ложные предпосылки: пошагово
Возьмите 10–15 вопросов из своей области: половину корректных, половину с ложной предпосылкой. Ложные предпосылки делайте правдоподобными: несуществующая статья закона, выдуманный термин, неверная дата события.
Один и тот же вопрос — сначала с предпосылкой («что регулирует статья X?»), затем с прямой проверкой («существует ли статья X?»).
Модели по-разному балансируют между полнотой и осторожностью. Сравнение на одном наборе покажет, какая модель надёжнее для ваших задач.
В многоходовом тесте HalluHard веб-поиск снизил долю галлюцинаций у Claude Opus 4.5 с 60,0% до 30,2%, у GPT-5.2 в режиме рассуждения — с 53,8% до 38,2%. Проверьте, как поиск меняет ответы на вашем наборе.
Для каждой модели посчитайте, сколько ложных предпосылок она заметила и сколько раз отказалась отвечать на корректный вопрос. Важны обе цифры: модель, которая отказывается от всего, тоже бесполезна.
Промпты, которые снижают риск ответа на ложную предпосылку
Формула: разрешите отказ + попросите проверить предпосылку + не форсируйте формат. Промпты на английском модели понимают точнее, а строка «Answer in Russian» даёт ответ на русском.
1. Проверка предпосылки перед ответом
Before answering, check whether the question contains any false or unverified assumptions. If it does, point them out and explain what is actually true. Only then answer the corrected question. Answer in Russian.
2. Сначала существование, потом детали
Does [term / law / event] actually exist? If you are not sure, say so directly. Only if it exists, explain what it is. Answer in Russian.
3. Путь отступления в извлечении данных
Extract the following fields from the attached document: [fields]. If a field is not stated in the document, write "not specified". Do not infer or guess missing values. Answer in Russian.
4. Разделение фактов и предположений
Answer the question and mark every statement as one of: verified fact, likely but unverified, or my assumption. Answer in Russian.
5. Проверка собственного ответа
Review your previous answer. Which claims could be based on a false premise in my question? Which claims would you not be able to support with a source? Answer in Russian.
Частые ошибки и как их исправить
Доверять уверенному тону. Почему: уверенность модели не связана с правильностью ответа. Как правильно: проверять факты по источнику независимо от тона.
Спрашивать «что такое X», когда не уверены, что X существует. Почему: формулировка подталкивает к выдумке. Как правильно: сначала «существует ли X?».
Делать все поля обязательными. Почему: модель заполнит поле, даже если данных нет. Как правильно: добавить вариант «не указано» и запретить догадки.
Включать рассуждение в надежде, что модель заметит подвох. Почему: исследования показывают, что рассуждение не гарантирует обнаружение ложной предпосылки, а иногда снижает готовность отказаться. Как правильно: прямо просить проверить предпосылки.
Использовать модель без поиска для свежих фактов. Почему: модель не знает событий после даты обучения и может достроить их. Как правильно: включать веб-поиск или прикладывать документ.
Путать поддакивание и ложную предпосылку. Почему: модель может стойко держать позицию в споре и при этом принять ложь в формулировке вопроса. Как правильно: проверять оба сценария отдельно.
Где проверить, как разные модели справляются с ложными предпосылками
Модели заметно различаются по готовности отказаться от ответа, поэтому полезно проверять важные вопросы сразу на нескольких. У нас ChatGPT, Claude, Gemini, DeepSeekи ещё 300+ моделей собраны в одном окне: один и тот же вопрос можно отправить нескольким моделям и сравнить, какая заметила подвох. Оплата в рублях через СБП, по факту использования, для разработчиков — API с единым ключом. По промокоду HABRSPESHUAI действует бонус 15% к сумме пополнения.
Частые вопросы
Модель обучена отвечать на вопрос, а не проверять его. По исследованию Anthropic, знакомое имя или термин может подавить внутреннюю схему отказа, и модель достраивает детали. По версии OpenAI, обучение поощряет догадку больше, чем признание неуверенности.
По исследованиям 2025 года — нет: рассуждающие модели писали более длинные ответы, но реже признавали вопрос некорректным. Для моделей 2026 года независимых данных пока нет.
Специализированного независимого теста на последних моделях нет. По косвенным данным модели различаются по готовности воздерживаться: одни чаще отказываются, другие чаще отвечают. Надёжнее проверить модели на своих вопросах.
Разрешите ответ «недостаточно данных», просите проверить предпосылки вопроса, спрашивайте сначала о существовании объекта, не делайте поля обязательными и включайте веб-поиск для фактов.
Исследований поведения моделей на ложных предпосылках в русскоязычных вопросах мы не нашли. Все приведённые результаты получены на английском.
Поддакивание — смена правильного ответа под давлением пользователя. Ложная предпосылка — ошибка в самом вопросе, которую модель принимает без спора. Модель может быть устойчива к одному и уязвима к другому.
Итог
Нейросети пока плохо замечают ложные предпосылки: отвечают уверенно, поддаются формулировке и формату, а рассуждение проблему не решает. Защищает правильный запрос — прямой вопрос о существовании, разрешение сказать «не знаю» и веб-поиск, а надёжнее всего сравнить ответы нескольких моделей, например в SpeShu.AI.
Комментарии
Обсуждайте статью, отвечайте и оценивайте комментарии. Вход — через ваш Яндекс ID.
Загружаем обсуждение…