Регулятор и model risk

Model risk: словарь, который знают все банки

Model risk management (MRM, управление модельным риском) выросло в США. Классический документ — SR 11-7 Федеральной резервной системы (Fed) от 4 апреля 2011 года; его термины до сих пор звучат в банках по всему миру. 17 апреля 2026 года Fed, OCC и FDIC (три банковских регулятора США) заменили его руководством SR 26-2, «Revised Guidance on Model Risk Management». Устройство осталось прежним, поэтому словарь тоже.

Опорные понятия по тексту SR 26-2:

• model — «a complex quantitative method, system, or approach that applies statistical, economic, or financial theories to process input data into quantitative estimates». Простая арифметика в таблицах и детерминированные правила — не модели.
• model risk — возможные неблагоприятные финансовые последствия решений, принятых по выходу модели. Риск даёт и ошибка в модели, и применение не по назначению: «even a fundamentally sound model… can exhibit high model risk if it is misapplied or misused».
• materiality (существенность) складывается из exposure (насколько крупные решения зависят от модели) и purpose (для чего она: регуляторный расчёт важнее внутренней подсказки). Чем существеннее модель, тем строже надзор.
• effective challenge (действенная критика) — разбор модели людьми с нужной экспертизой, достаточной независимостью и весом в организации, чтобы добиться изменений.

Жизненный цикл и три линии

Руководство делит работу на три блока. Development and use: ясная цель модели, тесты при разработке, понимание ограничений; новое применение — новый анализ. Validation and monitoring: проверка conceptual soundness (обоснованности устройства и допущений), outcomes analysis (сравнение выхода модели с реальными исходами) и ongoing monitoring (наблюдение, работает ли модель как ожидалось, когда меняются клиенты, продукты и данные). Governance and controls: политики, роли, model inventory (реестр моделей), документация. Отдельный раздел — vendor models (модели поставщиков): принципы те же, даже если поставщик не отдаёт код и данные.

В банках роли обычно раскладывают по three lines of defense (трём линиям защиты) — общепринятой в отрасли схеме. Первая линия — команда, которая строит и использует модель, то есть ты. Вторая — независимая проверка, model risk или validation. Третья — internal audit (внутренний аудит): по SR 26-2 он не дублирует валидацию, а оценивает, строгая ли она и выполняются ли политики.

Оговорка про LLM

В SR 26-2 есть сноска: generative AI и agentic AI «are novel and rapidly evolving» и поэтому не входят в рамки руководства. Там же сказано, что для систем вне рамок контроль определяют собственные практики банка по рискам. На деле вторая линия применит к агенту тот же словарь — validation, monitoring, inventory, effective challenge, — только без готового рецепта. Само руководство «does not set forth enforceable standards» и прежде всего адресовано банкам с активами свыше $30 млрд. Сильная фраза: «SR 26-2 scopes out generative and agentic AI, but second line will still expect the same discipline, so I bring it».

EU AI Act: риск по назначению

Европейский закон об AI делит системы по риску применения (страница Еврокомиссии, открыта 10.10.2026):

Ассистент, который отвечает клиентам банка на вопросы, обычно попадает в transparency risk; scoring для выдачи кредита — в high risk. Сроки на 10.10.2026, уже после пакета изменений AI Omnibus: закон вступил в силу 1 августа 2024 года, запреты действуют со 2 февраля 2025, правила для general-purpose AI models (моделей общего назначения) — со 2 августа 2025, общая применимость и transparency — с августа 2026, правила high risk для областей Annex III, куда входит credit scoring, перенесены на 2 декабря 2027.

NIST AI RMF и региональные регуляторы

NIST AI Risk Management Framework (январь 2023, добровольный) даёт четыре функции: Govern (кто отвечает и по каким правилам), Map (контекст и риски конкретного применения), Measure (измерения: evals, bias, устойчивость), Manage (решения по рискам, мониторинг, реагирование). В июле 2024 года вышел Generative AI Profile (NIST-AI-600-1) с рисками, присущими генеративным моделям. Это удобная карта, даже когда закон её не требует.

Региональные регуляторы пишут указания в том же духе. Пример — указания Центрального банка ОАЭ (CBUAE) 2026 года об ответственном применении AI: ответственность совета директоров, согласование с CBUAE Model Management Standards, регулярная проверка на bias (смещение), в том числе после существенных изменений, meaningful human oversight (содержательный надзор человека) для решений с большим влиянием, проверка сторонних поставщиков AI и право их аудита. Смысл везде один: модель — актив под контролем, а не просто код.

Что ты приносишь второй линии

До запуска агента второй линии нужны доказательства, а не уверенность:

1. Versioned eval datasets (версионированные наборы для оценки) с происхождением каждой задачи: набор оценки — контролируемый актив с первого дня.
2. Reproducible runs: записаны версии модели, prompt, tools, данных и harness, прогон можно повторить.
3. Judge validation: если оценивает LLM-as-judge (модель-судья), показаны его recall (доля пойманных нарушений) и κ (каппа Коэна, согласие с людьми сверх случайного) по срезам.
4. Known failure modes: письменный список известных провалов и остаточного риска.
5. Monitoring plan: метрики, пороги, кто и по какому сигналу останавливает модель.

Пример с числами. Вторая линия хочет: нарушение политики не чаще 1 раза на 1 000 разговоров с уверенностью 95%. По правилу трёх нужно около 3 000 независимых разговоров без единого нарушения, и любое новое изменение требует нового прогона. Поэтому самые жёсткие правила переводят в код (доступ из сессии, подтверждения), а статистикой доказывают только остаток.