Как учат модель: pretraining, SFT, preference tuning

Три стадии на одной линии

Современная LLM проходит три стадии обучения, и каждая отвечает на свой вопрос:

Две последние вместе называют post-training (всё после предобучения). В новых моделях к ним часто добавляют RL (reinforcement learning, обучение с подкреплением) на задачах с проверяемым ответом — математике и коде. Карточка казахской модели issai/Qwen3.5-35B-A3B-Kazakh (открыта 08.10.2026), например, прямо перечисляет, чего в ней нет: «SFT, RLHF, or RLVR» — последнее и есть RL with verifiable rewards, RL с проверяемой наградой.

Pretraining: знания приходят отсюда

На предобучении модель решает одну задачу: предсказать следующий token в огромном корпусе текста. Разметка людьми не нужна — правильный ответ уже лежит в тексте. Курс Hugging Face называет это self-supervised: цель «automatically computed from the inputs of the model».

Масштаб на живом примере. Карточка Qwen/Qwen3-8B-Base сообщает: 36 трлн tokens на 119 языках, в три этапа — сначала общий язык и знания, затем рассуждение (STEM, код, логика), затем длинные тексты до 32 768 tokens. В карточке стоит «Training Stage: Pretraining» — это base model (базовая модель).

Base model умеет продолжать текст, но не отвечать. Дай ей «Какая столица Франции?» — она может продолжить списком похожих вопросов, как в школьной контрольной, потому что в интернете за вопросом часто идёт следующий вопрос. Знания в ней уже есть; нет привычки вести диалог.

SFT: из base model получается instruct model

Supervised fine-tuning — обучение на парах «запрос → эталонный ответ». Каждая пара оформляется в chat template (шаблон диалога): роли system, user, assistant размечены служебными tokens, у Qwen это <|im_start|> и <|im_end|>. Loss (ошибка, которую уменьшает обучение) считается только на ответе ассистента: модель учится отвечать, а не повторять вопросы.

Сколько данных нужно, показала статья LIMA (2023). Авторы дообучили 65B-модель всего на 1 000 тщательно отобранных пар, без RL, и в 43 % сравнений люди сочли её ответы равными или лучше ответов GPT-4. Вывод авторов: почти всё знание модели приходит из предобучения, а дообучению нужно немного данных, чтобы настроить форму ответа.

Сравни масштабы. Если пара в среднем 500 tokens, 1 000 пар — это 0,5 млн tokens против 36 трлн на предобучении, разница в 72 млн раз. Поэтому главный тезис модуля про fine-tuning звучит так: дообучение учит поведению, а не надёжным новым фактам. Тариф, вписанный в веса, устареет, на него нельзя сослаться, и его нельзя скрыть от пользователя без прав. Факты приходят через RAG и tools.

Из-за шаблона у instruct model есть хрупкое место: документация Hugging Face предупреждает, что с чужими служебными tokens модель работает «drastically worse». Шаблон лежит рядом с весами, и его всегда берут оттуда.

Preference tuning: RLHF и DPO

SFT учит «делай так». Но часто оба ответа по делу, а один снисходительный, длинный или небезопасный. Это учат на предпочтениях.

RLHF (reinforcement learning from human feedback, обучение с подкреплением на оценках людей) описан в работе InstructGPT (OpenAI, 2022) как три шага: (1) SFT на ответах, написанных людьми; (2) люди ранжируют несколько ответов модели, и по этим ранжированиям обучают reward model (модель-оценщик); (3) RL-алгоритм PPO (proximal policy optimization) дообучает модель так, чтобы reward model ставила ей высокие баллы. Результат стал аргументом для всей отрасли: ответы InstructGPT на 1,3B люди предпочли ответам GPT-3 на 175B — при разнице в параметрах в 100 раз.

Минус RLHF — сложность. Статья DPO (2023) называет его «a complex and often unstable procedure»: несколько моделей в памяти, генерация во время обучения, капризная настройка. DPO (direct preference optimization) решает ту же задачу «with only a simple classification loss». Данные — тройки prompt, chosen (лучший ответ), rejected (худший). Обучение поднимает вероятность лучшего ответа и опускает худшего относительно reference model (замороженной копии стартовой модели), а параметр beta (в библиотеке TRL по умолчанию 0,1) не даёт модели уйти от неё далеко. ORPO обходится без reference model и делает SFT и предпочтения за один проход.

Где они стоят: после SFT. RLHF с PPO требует инфраструктуры и опыта крупной лаборатории, поэтому многие команды, которые сами донастраивают тон и отказы, перешли на DPO: проще, стабильнее, дешевле.

Base или instruct: что скачать инженеру

Имена подсказывают стадию: у Qwen суффикс -Base значит только pretraining, без суффикса — модель после post-training (карточка Qwen/Qwen3-8B: «Pretraining & Post-training»); у Llama instruct-версия называется -Instruct.

• Агент, RAG, чат, извлечение данных — instruct: она уже следует инструкциям, держит формат и вызывает tools.
• Свой стиль или формат через LoRA (обучение малой добавки к замороженным весам, урок a6-2) — обычно instruct. Сравнивать результат надо не с голой базой, а с instruct-моделью и лучшим prompt: это baseline (точка отсчёта).
• Новый язык через continued pretraining (CPT, продолжение предобучения на сыром тексте) — base, потому что сырой текст всё равно испортит манеры ассистента. Авторы казахской модели вернули их без SFT: прибавила к своей казахской модели разность весов «официальная instruct минус официальная base» — chat vector.
• Своё полное post-training — base, иначе ты учишь поверх чужих решений.

Правило стоимости: чем раньше стадия, тем дороже её менять. Pretraining с нуля банку или студии практически никогда не нужен, CPT — редко, SFT с LoRA — часы на одной GPU, DPO — тоже часы.