Сколковский институт науки и технологий совместно с Московским физико-техническим институтом выпустили BenchRu — открытый бенчмарк для комплексной оценки больших языковых моделей на русском языке¹. Тест охватывает 12 категорий заданий и содержит более 15 тысяч вопросов. BenchRu претендует на статус отраслевого стандарта для сравнения российских и зарубежных LLM на задачах русскоязычного понимания.
Что тестирует BenchRu
Бенчмарк охватывает широкий спектр задач, специфических для русского языка и российского контекста²:
- Языковое понимание: синтаксис, морфология, понимание контекста
- Рассуждение: логические задачи, математика, пространственное мышление
- Фактические знания: история России, география, культура
- Юридические знания: российское право, налоговое законодательство
- Профессиональный язык: медицинские, технические, деловые тексты
- Безопасность: выявление потенциально вредоносных ответов по российским нормам
Первые результаты тестирования
Исследователи протестировали ряд моделей на BenchRu². Из российских моделей лидирует YandexGPT 5 Pro — 74,2 балла из 100. Из зарубежных лучший результат у Gemini 2.5 Pro — 81,4 балла. GPT-4o показал 78,6. GigaChat Max набрал 71,8.
Важное наблюдение: зарубежные модели лучше справляются с логическими задачами, российские — с юридическими и профессиональными текстами в российском контексте¹.
Открытый доступ
Датасет BenchRu и методология оценки опубликованы на Hugging Face и GitHub в открытом доступе, что позволяет любой команде проверить свою модель³. Авторы планируют ежеквартальное обновление заданий.
Нельзя улучшать то, что не умеешь измерять. BenchRu даёт индустрии единую шкалу для русскоязычных задач, — сообщил руководитель лаборатории ИИ Сколтеха¹.
---
¹ Публикация BenchRu — Сколтех, апрель 2026 — skoltech.ru
² Результаты тестирования — ТАСС, апрель 2026 — tass.ru
³ Открытый доступ — РБК, апрель 2026 — rbc.ru