Оценка, merge и serving дообученной модели

Сначала критерий, потом цифры

Порядок, который показывает зрелость: 1. Baseline (точка отсчёта) — базовая instruct-модель с лучшим prompt, а для фактических задач ещё и с RAG (поиском документов и подстановкой их в context). Fine-tune обязан обыграть именно его, а не голую базу. 2. Критерий выпуска записан владельцем продукта до прогона: например, «формат ≥ 98 %, ни одного нового провала безопасности, ни один язык не хуже baseline больше чем на 1 пункт». 3. Held-out test (запечатанный набор) — новые обращения, пришедшие после сбора обучающих данных, разбитые по клиенту. Иначе ты измеряешь память, а не обобщение.

Что мерить

Пояснения к трём строкам. Средняя прячет меньшинство: общий плюс 2 пункта может скрывать минус 5 в казахском. Регрессия общих умений реальна даже при удачном обучении: в карточке казахской модели ISSAI (открыта 10.10.2026) KazCulture вырос 60,3 → 68,7, а английский MMLU упал 91,2 → 89,3. Для открытых benchmarks удобен lm-evaluation-harness от EleutherAI: adapter подключается добавкой peft=ПУТЬ к --model_args, так что база и fine-tune меряются одной командой. Ноль провалов читают честно: по правилу трёх 0 провалов из n независимых разнообразных попыток дают верхнюю границу частоты около 3/n с 95 % уверенностью; 0 из 300 — это «не чаще 1 %», а не «безопасно».

Ещё две строки таблицы требуют техники. Judge (модель-оценщик) сам ошибается и меняется от прогона к прогону, поэтому сначала его оценки сверяют с оценками людей на размеченной выборке ответов, а базу и fine-tune оценивают в одном прогоне одним и тем же judge. Если judge из того же семейства, что и модель, которая писала синтетические обучающие данные, он склонен хвалить «свой» стиль; тогда берут judge другого семейства. Запоминание проверяют так: до обучения вкладывают в train несколько уникальных выдуманных строк (canary), после обучения дают модели их начало и смотрят, допишет ли она остальное; плюс дают начала реальных обучающих записей и ищут дословные продолжения. Дописала canary — модель запоминает, и redaction (удаление персональных данных) надо проверять строже.

Наконец, шум. Выигрыш 3 пункта на 100 задачах по одному прогону может быть случайностью. Убедительно: повторные прогоны на тех же задачах, сравнение по парам задач, выигрыш в каждом языке.

Условный пример решения

Среднее выросло, формат и тон лучше. Но казахский упал на 5 пунктов, а критерий допускал минус 1. Решение — не выпускать: смотреть, сколько казахских примеров было в train, и чинить данные, а не модель.

Merge или отдельный adapter

В PEFT merge_and_unload() вливает B·A в W: получается обычная модель, без накладных расходов adapter при inference (работе на запросах). Метод не меняет модель на месте — результат нужно присвоить переменной — и не хранит веса adapter. Если нужно потом отменить слияние, используют merge_adapter() и unmerge_adapter(). На квантованной базе документация PEFT предупреждает: «unmerging is not exact», потому что слияние заново квантует веса. Поэтому adapter после QLoRA обычно вливают в 16-битную базу, а уже потом квантуют для serving (обслуживания запросов) в GGUF или AWQ (форматы и методы сжатия весов для inference). И оценку повторяют на том артефакте, который реально будет отвечать клиентам: merged и квантованная модель — уже не та, что прошла тест с adapter.

Держать adapter отдельно тоже можно: load_adapter() и set_adapter() переключают их на одной базе, add_weighted_adapter() смешивает несколько (методы linear, svd, ties и другие).

Serving: vLLM multi-LoRA

vLLM (сервер inference с высокой пропускной способностью) обслуживает много adapters на одной базе (документация открыта 10.10.2026):

vllm serve Qwen/Qwen3-8B \
  --enable-lora \
  --lora-modules style-v1=./adapters/style-v1 style-v2=./adapters/style-v2 \
  --max-lora-rank 16

Клиент выбирает adapter полем model в обычном запросе: "model": "style-v1". Флаг --max-lora-rank ставят равным наибольшему рангу среди adapters: большее значение тратит память впустую. Есть и max_loras (сколько adapters одновременно в одном batch) и max_cpu_loras (сколько держать в кэше в памяти CPU). Есть загрузка на ходу через /v1/load_lora_adapter при VLLM_ALLOW_RUNTIME_LORA_UPDATING=True, но документация предупреждает: «It should not be used in production unless it is an isolated, fully trusted environment».

Выпуск и откат

Каждая дообученная модель — новая запись в реестре: хэш весов базы, версия adapter, хэш набора данных, конфигурация обучения, отчёт оценки, model card (паспорт модели: назначение, данные, ограничения). Выкатка идёт через shadow (новая версия отвечает параллельно, но клиенту не показывается) и canary (малая доля трафика) с порогами по каждому языку. Каждый ответ в журнале несёт идентификатор модели и adapter, чтобы через месяц доказать, какая версия ответила клиенту. Откат — переключить на прежний adapter, и его репетируют заранее, а не изобретают во время инцидента.