Новые исследования подтверждают то, о чём специалисты предупреждали давно: крупные языковые модели не «понимают» свои ответы в том смысле, который предполагает надёжность. Они уверенно выдают неверные результаты и не могут достоверно объяснить логику собственных рассуждений — даже когда специально просят об этом.
Проблема объяснимости
В исследовании, описанном New Scientist, команда учёных тестировала несколько ведущих LLM на задачах логического вывода и математики¹. Модели не просто делали ошибки — они делали их уверенно и, когда их спрашивали «почему?», давали правдоподобно звучащие, но неверные объяснения.
Более того, когда моделям давали подсказку («Вы только что ошиблись, попробуйте снова»), они иногда меняли ответ на верный — без какого-либо реального пересмотра рассуждений. Это означает, что «исправление» было социальным сигналом, а не результатом понимания ошибки.
Chain-of-thought не решает проблему
Техника «цепочки рассуждений» (chain-of-thought, CoT), при которой модель пошагово описывает ход мысли, изначально разрабатывалась как способ повысить точность и прозрачность. Исследователи обнаружили, что CoT действительно улучшает результаты на ряде задач, но объяснения при этом остаются «постфактумной рационализацией»: модель генерирует текст рассуждения, но это рассуждение не является фактической причиной её ответа.
По словам авторов, внутренние вычисления LLM и текст, который модель выводит как объяснение, — принципиально разные процессы. Мы видим один, но не другой.
Последствия для критических применений
Это имеет практические следствия для применения ИИ там, где ошибка недопустима: медицина, право, финансы, управление инфраструктурой. Если система не может достоверно объяснить своё решение, оператор не может проверить его корректность без независимой экспертизы.
Регуляторы уже реагируют. EU AI Act требует «объяснимости» для систем высокого риска. Однако технического определения «объяснимости», которое можно было бы верифицировать, пока не существует.
Российский контекст
В России ИИ применяется в судебной системе (помощь судьям), налоговом администрировании (ФНС), медицине. Вопрос объяснимости особенно актуален при использовании ИИ в государственных решениях: гражданин, получивший отказ на основе алгоритма, имеет право понять причину.
ГОСТ Р по объяснимому ИИ находится в разработке. Профессиональное сообщество (АРИИ — Альянс в сфере ИИ) обсуждает стандарты, но пока консенсуса нет. Международный опыт показывает: создать стандарт «объяснимости», который одновременно технически осмыслен и юридически применим, — крайне сложная задача.
---
¹ Источник: New Scientist — https://www.newscientist.com/article/2474582-think-ai-knows-what-its-doing-scientists-say-think-again/