Аблитерация: направление отказа в весах

1. Веса — это числа, которые в разговоре не меняются

Модель — это огромный набор таблиц с числами (матриц). У Qwen3.8-27B около 27 млрд чисел. Файл Q8_0 весит 29 GB: примерно по байту на число плюс служебные данные. Эти числа и называют весами.

Текст режется на токены, кусочки слов. Каждый токен превращается в вектор из 5120 чисел, и этот вектор по очереди проходит 64 слоя. В каждом слое два блока:

• внимание (attention) смотрит на остальные слова в контексте;
• MLP обрабатывает сам вектор. Именно здесь хранится большая часть знаний.

Каждый блок читает вектор, что-то считает и дописывает результат обратно в тот же вектор. Этот вектор идёт через все слои, как по общей шине. Её называют residual stream. На шину пишут последние матрицы каждого блока: в attention это o_proj, в MLP — down_proj. Запомни эти два имени: аблитерация меняет именно их.

Во время разговора веса не меняются. Меняется только вектор на шине, его называют активациями. Сами веса меняются при обучении или при ручной правке.

2. Откуда взялись веса: обучение в три этапа

1. Предобучение (pretraining). Модель читает триллионы токенов и всё время угадывает следующий. После каждой ошибки все веса немного сдвигаются в сторону правильного ответа (градиентный спуск). Так появляются язык и знания.
2. Обучение на примерах (SFT). Десятки и сотни тысяч пар «вопрос → хороший ответ». Здесь модель учится быть ассистентом.
3. Обучение на предпочтениях (RLHF, DPO). Люди или другие модели сравнивают ответы, и модель учится давать лучший. Среди прочего здесь закрепляется отказ: «Извините, я не могу с этим помочь».

Отказ — это не фильтр снаружи модели, а выученное поведение, записанное в весах. Выключить его флажком нельзя. Но, как выяснилось, его можно найти и вырезать.

3. Дообучение: полное и LoRA

Полное дообучение (full fine-tuning) продолжает обучение на твоих данных и двигает все 27 млрд чисел. Это дорого: кроме весов, в памяти лежат градиенты и состояние оптимизатора, для 27B это сотни GB.

LoRA замораживает исходную матрицу W и учит рядом две тонкие матрицы: B (5120 × r) и A (r × 6144), где r обычно от 8 до 64. Новая матрица считается так: W' = W + B·A. При r = 8 это 8 · (5120 + 6144) ≈ 90 тыс. чисел вместо 31,5 млн, то есть 0,3 % размера W. Адаптер хранится отдельным файлом. Его можно подключать и отключать, а можно влить (merge) прямо в веса.

Любому дообучению нужны данные с правильными ответами и часы работы GPU.

4. Аблитерация: ничему не учим, а вырезаем направление

В 2024 году Arditi и соавторы показали: в 13 открытых чат-моделях размером до 72B отказ держится на одном направлении в пространстве шины. Если вектор на шине повёрнут в эту сторону, модель отказывает.

Шаг 1. Найти направление. Берут два набора запросов: «вредные» (у нашей модели это 400 штук из mlabonne/harmful_behaviors) и безобидные (400 из harmless_alpaca). Оба набора прогоняют через модель и на каждом слое записывают вектор на шине в момент перед первым словом ответа. Среднее по вредным минус среднее по безобидным даёт стрелку «к отказу», её обозначают r. Писать ответы-образцы не нужно: модель сама показывает, где у неё отказ.

Шаг 2. Запретить писать вдоль стрелки. Пусть длина r равна 1. Любой вектор v раскладывается на часть вдоль r и всё остальное. Часть вдоль r вычитаем: v' = v − (v·r)·r. С весами делают то же самое, один раз и заранее: W' = W − r·(rᵀW). После этого o_proj и down_proj физически не могут записать на шину ничего вдоль r. Всё остальное, что они пишут, остаётся прежним. Эта операция называется ортогонализацией весов.

Такая правка — матрица ранга 1, то есть одна стрелка. По форме это LoRA с r = 1, только её посчитали, а не обучили. Heretic так её и сохраняет: как маленький LoRA, который потом вливают в веса.

5. Heretic: параметры подбирает машина

В классической аблитерации (huihui-ai, Labonne) человек сам выбирает одно направление и вырезает его одинаково во всех слоях. Heretic подбирает всё автоматически:

• какое направление взять. Номер слоя дробный: 39,0 — это направление слоя 39, а 38,5 — смесь слоёв 38 и 39;
• с какой силой резать на каждом слое. Сила задаётся «колоколом» по слоям: где пик, насколько он широкий и какой минимум. Для attention и MLP колокол свой, потому что правки в MLP, по опыту автора, вреднее;
• как оценить попытку. Двумя числами. Первое — сколько из 100 тестовых вредных запросов всё ещё получили отказ. Второе — KL-дивергенция: насколько изменились вероятности первого слова ответа на безобидные запросы по сравнению с исходной моделью (0 — не изменились совсем).

Heretic делает 200 попыток: первые 60 случайные, остальные — умный перебор (Optuna). В итоге получается фронт лучших компромиссов: чем меньше отказов, тем больше KL.

У нашей модели:

• выбрана точка с 12 отказами из 100 при KL 0,119, самый агрессивный край фронта. Можно было взять 19 отказов при KL 0,072 или 27 при KL 0,041;
• направление взято со слоя 39 из 64, сильнее всего режут около слоёв 40–41 (вес до 1,38 в attention и до 1,45 в MLP). Тронуты только o_proj и down_proj, по 64 матрицы каждого. Голова MTP (черновик для ускоренной генерации) и зрение не тронуты;
• отказ считали грубо: ответ без размышления, первые 100 токенов. Если в тексте есть «sorry», «I cannot», «as an AI», «illegal», «harmful» и т. п., это отказ.

6. На каких темах снимали отказ

Направление нашли на harmful_behaviors — это англоязычный список прямых просьб о вреде. Ниже грубая разметка его 516 строк по ключевым словам (наша, не авторская):

Здоровья, медицины и личных тем как отдельных тем в наборе нет. Направление отказа общее для всех тем, поэтому отказов становится меньше и в других темах. Но автор прямо пишет, что на других темах поведение не измерено.

7. Чем за это заплатили

Автор прогнал базу и свою модель одинаково:

Все разницы в пределах шума. Перплексия выросла на 0,7 %, самый вероятный токен совпадает с базой в 96,7 % случаев. Автор не мерил математику, код, другие языки, зрение и режим размышления.

Есть независимое сравнение 12 аблитераций той же Qwen3.8-27B. Нашей сборки в нём нет, но о методе в целом оно говорит вот что:

• аккуратные правки (KL < 0,1) почти не трогают знания и математику. Первой проседает правдивость: TruthfulQA −1…−3 п. п. у аккуратных правок и −6…−11 у грубых. Ранний признак поломки — падение в следовании инструкциям;
• на вредных запросах с длинным размышлением многие сборки зацикливаются: 15–45 % ответов не дописывают размышление (у базы так было с 1 запросом из 400);
• самая грубая сборка (OBLITERATUS, изменён 841 тензор из 850) оказалась худшей: MMLU-Pro −6,3 п. п., HumanEval −33,6 п. п.

Ещё одно исследование (arXiv 2607.17427): после аблитерации модели стали оптимистичнее в решениях (+7…+12 п. п.) и реже пишут слова сомнения. Вывод автора: «uncensored-модель — это не базовая модель минус отказы».