Большая языковая модель. LLM. GPT. Нейросеть. Все эти слова используют как синонимы, хотя это не совсем одно и то же. ChatGPT покорил 100 миллионов пользователей за два месяца — быстрее любого продукта в истории.¹ YandexGPT встроен в Алису. GigaChat помогает клиентам Сбера. Но что именно происходит «под капотом»?
Честное объяснение — без восторгов и без страхов.
---
Если совсем просто:
LLM — это программа, которая очень хорошо угадывает следующее слово. Настолько хорошо, что получается связный, умный, полезный текст.
---
Откуда берётся «умность»
Начнём с того, чего нет. LLM не думает. У неё нет сознания, намерений, понимания в человеческом смысле. Она не знает, что такое «кошка» в том смысле, как знаете вы.
Что у неё есть: огромный массив статистических знаний о том, как слова связаны между собой в текстах, написанных людьми. Обучение LLM — это изучение этих связей на невообразимом масштабе.
GPT-4 от OpenAI обучался на данных объёмом в несколько терабайт: книги, статьи, форумы, сайты, код.¹ (оценочно, официально не раскрыто OpenAI) Если из всей мировой литературы и интернета выделить закономерности «что идёт после чего» — получится нечто, что умеет отвечать на вопросы, писать стихи и объяснять квантовую физику.
---
Токены: как модель «видит» текст
LLM работает не со словами, а с токенами. Токен — это кусочек текста: иногда слово целиком, иногда часть слова, иногда знак препинания.
Русское слово «привет» — примерно 2–3 токена. Английское «hello» — 1 токен. «Нейросеть» — вероятно, 3–4 токена.
Для модели «привет» — это не приветствие. Это последовательность токенов, после которой с высокой вероятностью идут определённые другие токены. Модель знает: после «Дорогой» обычно идёт имя или «друг». После «Банк России» обычно идёт что-то про ключевую ставку или рубль.
Именно поэтому LLM иногда «галлюцинируют» — выдают уверенные, но неверные факты. Она не проверяет истинность. Она генерирует то, что статистически вероятно.
---
Параметры: в чём измеряется «ум»
«Большая» в названии «большая языковая модель» — это про параметры. Параметр — числовое значение, которое модель подстраивает во время обучения, чтобы лучше предсказывать следующий токен.
- GPT-4: по оценкам исследователей, более 1 трлн параметров (официально не раскрыто)¹
- GPT-3.5: 175 млрд параметров
- GigaChat от Сбера: сотни миллиардов (оценочно, официально не раскрыто)¹
- YandexGPT 3: параметры официально не раскрываются (по данным Яндекса)¹
Больше параметров — как правило, лучше качество. Но и дороже: обучение GPT-4 стоило, по разным оценкам, от $50 до $100 млн. DeepSeek-R1 показал, что с умной архитектурой можно достичь сопоставимого качества за $6 млн.
---
Как происходит обучение
Обучение LLM — три этапа:
1. Предобучение (pretraining): Модель получает огромный массив текста и учится одной задаче — предсказывать следующий токен. Миллиарды итераций, триллионы токенов. Параметры постепенно подстраиваются так, чтобы предсказания были точнее.
2. Тонкая настройка (fine-tuning): Модель обучается на более качественных данных — примерах правильных ответов на вопросы, диалогах, специализированных текстах.
3. RLHF (Reinforcement Learning from Human Feedback — обучение с подкреплением на основе обратной связи от людей): Люди оценивают ответы модели, и она учится давать ответы, которые люди признают полезными, безвредными и честными.¹ Именно RLHF превратил «предсказатель следующего слова» в полезного ассистента.
---
Трансформер: архитектура, изменившая всё
В основе всех современных LLM лежит архитектура трансформер (Transformer), предложенная Google в 2017 году в статье «Attention is All You Need».¹ Ключевой механизм — внимание (attention): модель умеет определять, какие части входного текста наиболее важны для предсказания следующего токена.
Это позволило масштабировать модели до огромных размеров и обрабатывать длинные тексты с учётом контекста — чего не умели предыдущие архитектуры (LSTM, RNN).
---
Попугай или разум? Главный спор об LLM
В 2021 году исследователи Тимнит Гебру и Эмили Бендер ввели термин «стохастический попугай». Суть: LLM — это статистическая машина для воспроизведения паттернов из обучающих данных. Она не понимает смысл. Она имитирует понимание.²
Аргументы скептиков:
- LLM галлюцинирует (выдаёт факты, которых не было)
- LLM не знает, что не знает
- LLM не может настойчиво удерживать цель в долгосрочной перспективе
- LLM предвзята в той мере, в какой предвзяты обучающие данные
Аргументы сторонников:
- Если бы это было «просто» статистикой, это было бы воспроизводимо более простыми методами — но это не так
- Некоторые поведения модели (например, решение задач, которых не было в обучении) сложно объяснить только статистикой
- А как доказать, что человеческий мозг не делает то же самое, только в биологическом субстрате?
Честный ответ: мы не знаем. И это, пожалуй, самое интригующее в теме.
---
Кто делает LLM в России и в мире
В России:
| Компания | Модель | Особенности |
|---|---|---|
| Яндекс | YandexGPT 3 | Интегрирован в Алису, поиск, 360 |
| Сбербанк | GigaChat | Семейство моделей, API |
| МТС AI | FRED-T5 и другие | Open-source модели на русском |
| Т-Банк | FinAssist | Финансовая специализация |
| Сколтех / AIRI | Различные модели | Академические разработки |
В мире:
| Компания | Модель | Позиция |
|---|---|---|
| OpenAI | GPT-4o, o1 | Лидер по качеству ассистента |
| Anthropic | Claude 3.5, 4 | Акцент на безопасности |
| Gemini 2.0 | Интеграция в экосистему | |
| Meta | Llama 3 | Открытая лицензия |
| DeepSeek | R1, V3 | Открытая, высокое качество |
---
Почему это меняет всё — и почему не стоит паниковать
LLM уже сейчас:
- Пишут код (GitHub Copilot ускоряет разработчиков на 30–55%, по данным GitHub Research)²
- Переводят тексты (DeepL, Яндекс Переводчик)
- Анализируют документы
- Отвечают на вопросы клиентов
Они вытесняют часть рутинных задач — но создают новые профессии и новые инструменты. «Промпт-инженер» ещё пять лет назад не существовал как позиция.
Что важно понимать: LLM — это инструмент. Мощный, полезный, с ограничениями. Как интернет в 1995 году — очевидно важная технология, но никто не знал точно, как именно она изменит жизнь.
---
Запомни: LLM не думает — она предсказывает. Но делает это так хорошо, что полезна в десятках реальных задач. Понимать её ограничения — значит использовать её эффективно.
---
¹ OpenAI. GPT-4 Technical Report. arxiv.org/abs/2303.08774, март 2023.
² Vaswani, A. et al. Attention is All You Need. arXiv:1706.03762, 2017. (архитектура трансформера)
³ Bender, E. et al. On the Dangers of Stochastic Parrots. ACM FAccT 2021.