«Цифра» разработала собственную единицу измерения возможностей ИИ-моделей — «Ум» (Um). Одно число вместо десятков непонятных бенчмарков. Рассказываем, зачем это нужно, как считается и чем отличается от существующих методов.
---
Если совсем просто: «Ум» — это как оценка в школе, только для нейросетей. Вместо «набрал 87,2% на MMLU» — просто «68 Умов». Понятно сразу.
---
Проблема: бенчмарки непонятны людям
Если вы следите за новостями об ИИ, вы регулярно видите такие цифры: «Модель набрала 89,1% на MMLU». Или: «Прошла HumanEval на 94%». Или: «MATH — 72,3, GSM8K — 96,8».
Что это значит? Если вы не занимаетесь машинным обучением профессионально — ничего. Это абсолютно непрозрачные числа для большинства людей, которые хотят просто понять: «Вот три нейросети. Которая лучше?»
Существующие бенчмарки хороши для исследователей:
- MMLU (Massive Multitask Language Understanding) — 57 предметных областей от математики до права
- HumanEval — задачи программирования на Python
- MATH — математические задачи разной сложности
- GSM8K — арифметические задачи в контексте
Каждый измеряет что-то своё. Ни один не даёт единого ответа на вопрос «насколько умна эта модель»¹.
Вторая проблема: ни один из этих бенчмарков не тестирует русскоязычные возможности системно. Для российских пользователей, которые преимущественно работают на русском языке, это существенный пробел.
---
Решение: «Ум» как агрегатная метрика
«Ум» (Um) — это составная оценка, которая:
1. Объединяет несколько категорий тестов в одно число
2. Нормирована так, чтобы быть интуитивно понятной
3. Включает обязательное тестирование на русском языке
4. Имеет открытую методологию — любой может воспроизвести
Шкала:
- 0–100 Um — диапазон для моделей общего назначения
- 100+ КилоУм (kUm) — зарезервировано для будущих гипермоделей
Ориентир: 100 Um соответствует уровню профессионального эксперта в каждой из тестируемых областей. Сегодня ни одна модель не достигла 100 Um — это горизонт, а не текущий максимум.
---
Методология: пять категорий
Итоговый «Ум» складывается из пяти категорий с разными весами:
| Категория | Вес | Что проверяем | Примеры задач |
|---|---|---|---|
| Текст и язык | 25% | Понимание, генерация, стиль | Резюме, перефраз, анализ тона |
| Код | 20% | Написание, отладка, объяснение | Python-задачи, SQL, поиск багов |
| Математика | 20% | Арифметика до высшей математики | Уравнения, статистика, доказательства |
| Логика | 20% | Рассуждение, дедукция, аналогии | Силлогизмы, загадки, паттерны |
| Русский язык | 15% | Понимание и генерация на русском | Грамматика, стиль, идиомы, реалии |
Весовые коэффициенты установлены экспертной группой «Цифры» и отражают практическую значимость каждой области для типичного российского пользователя. Русский язык выделен в отдельную категорию осознанно: модели значительно различаются по качеству работы с русским, и это критично для нашей аудитории.
---
Как проходит тестирование
Шаг 1. Подбор заданий. В каждой категории — 50–100 заданий разной сложности. Задания калиброваны: известен «правильный» ответ и оценка сложности.
Шаг 2. Слепое тестирование. Модель получает задания без указания того, что она тестируется. Стандартный системный промпт, стандартная температура (0 для детерминированных задач), стандартный лимит токенов.
Шаг 3. Оценка ответов. Для задач с однозначным ответом (математика, код) — автоматическая проверка. Для генеративных задач (текст, стиль) — оценка второй моделью по рубрике.
Шаг 4. Нормализация. Сырые результаты нормализуются относительно базового уровня (человек без специальной подготовки = 50 Um) и экспертного уровня (профессиональный специалист = 100 Um).
Шаг 5. Взвешивание и агрегация. Результаты по категориям умножаются на веса и суммируются в итоговый «Ум».
---
Текущий рейтинг
По данным Q1 2026 года:
| Модель | Итого, Um | Текст | Код | Математика | Логика | Русский |
|---|---|---|---|---|---|---|
| Claude 3.5 Sonnet | 89 | 92 | 91 | 87 | 88 | 85 |
| GPT-4o | 87 | 90 | 90 | 88 | 86 | 78 |
| DeepSeek R1 | 85 | 83 | 90 | 94 | 88 | 72 |
| GigaChat MAX | 72 | 74 | 68 | 70 | 71 | 82 |
| YandexGPT 5 Pro | 68 | 70 | 65 | 63 | 68 | 85 |
Несколько наблюдений из таблицы:
Русский язык — не сильная сторона зарубежных моделей. GPT-4o имеет заметный разрыв между общим результатом (87) и русским (78). DeepSeek R1 ещё контрастнее: сильнейший результат в математике (94) и слабый в русском (72).
Российские модели лидируют в русском. GigaChat MAX и YandexGPT 5 Pro значительно превосходят зарубежные аналоги в русскоязычной категории — несмотря на общий результат ниже. Это важно для российских пользователей, которые работают преимущественно на русском.
Математика — область наибольшего разброса. Разница между сильнейшим (DeepSeek R1: 94) и слабейшим (YandexGPT: 63) — 31 пункт. В других категориях разброс меньше.
⚠️ Данные рейтинга основаны на тестировании «Цифры» (методология открыта на цифра.рф/um). Это авторская метрика, не сторонняя верификация.
---
Почему это важно именно сейчас
Рынок ИИ-моделей для российских пользователей расширяется быстро. В 2025 году доступны: YandexGPT, GigaChat, зарубежные модели через API (с разной степенью доступности), open-source модели (Llama, DeepSeek). Выбор есть — но нет понятного инструмента сравнения.
Проблема не только потребительская. Бизнес, который выбирает модель для корпоративного использования (автоматизация поддержки, генерация текстов, кодирование), нуждается в объективном сравнении. Тратить недели на собственное тестирование каждый раз невозможно.
«Ум» — это инфраструктура: стандартизированный язык для разговора об ИИ.
---
Что «Ум» не измеряет
Честность требует обозначить границы метрики.
«Ум» не измеряет:
- Скорость работы (tokens per second) — важна для интерактивных применений
- Стоимость (цена за 1000 токенов) — критична для масштабных применений
- Контекстное окно (сколько текста помещается за один запрос)
- Специализированные возможности (работа с изображениями, функция Code Interpreter)
- Поведение при длинных беседах (накопление ошибок, галлюцинации при длинном контексте)
- Этические ограничения (модели по-разному отвечают на чувствительные запросы)
Для разных задач важны разные параметры. «Ум» даёт быстрый обзор — но не заменяет специализированное тестирование под конкретную задачу.
---
Как следить за обновлениями
Рейтинг обновляется каждую неделю. Модели добавляются при выходе значимых новых версий. Методология публична и размещена на цифра.рф/um².
Если вы считаете, что какая-то модель отсутствует в рейтинге или результат не соответствует вашему опыту — можно подать запрос через форму обратной связи. Мы публично объясним, почему модель оценена именно так.
---
Запомни: «Ум» — это один из способов сравнить ИИ-модели, не единственный. Лучший инструмент — тот, который подходит для вашей конкретной задачи. Но для быстрой ориентировки — удобнее числа нет.
---
¹ «Цифра», методология расчёта «Ум» — https://цифра.рф/um
² РБК, «Рынок оценки ИИ-моделей: кто и как тестирует нейросети», 2025 — https://rbc.ru
³ ТАСС, «Российские и зарубежные ИИ-модели: сравнение», 2025 — https://tass.ru
⁴ ⚠️ Hendrycks et al., «Measuring Massive Multitask Language Understanding» (MMLU), arXiv:2009.03300 — зарубежный источник, для контекста о существующих бенчмарках
---