Группа исследователей разработала новый бенчмарк — один из наиболее сложных из существующих для оценки возможностей ИИ. В отличие от многих тестов, которые языковые модели научились «решать» за счёт запоминания паттернов из обучающих данных, новый тест проверяет способность к абстрактному рассуждению на принципиально новых задачах.
Почему бенчмарки устаревают
Большинство существующих тестов для ИИ (MMLU, HumanEval, GSM8K) в итоге «решаются» современными моделями с высокими показателями¹. Проблема в том, что задачи этих тестов присутствовали в обучающих данных или могут быть решены за счёт паттерн-матчинга. Это не демонстрирует истинного обобщения.
Что тестирует новый бенчмарк
Исследователи создали задачи, требующие применения абстрактных принципов к новым ситуациям — по аналогии с тестом ARC (Abstraction and Reasoning Corpus), разработанным Франсуа Шолле. Задачи представляют собой головоломки с визуальными паттернами, которые нужно «понять» из нескольких примеров и применить к новому случаю.
Ни одна из ведущих моделей (GPT-4o, Claude 3.7, Gemini 1.5 Pro) не показала результата выше 30–40% — тогда как люди справляются с теми же задачами в 80–90% случаев.
Российский контекст
Разработка независимой методологии оценки LLM — важная задача. В России функционирует проект MERA (Russian Language LLM Benchmark), разработанный с участием Сбера, Яндекса и академических институтов. Тест фокусируется на русскоязычных задачах. Интеграция компонентов абстрактного мышления в российские бенчмарки — естественное направление развития.
---
¹ Источник: New Scientist — https://www.newscientist.com/article/2468103-scientists-built-the-hardest-ai-test-ever-and-the-results-are-surprisi/