AI в регулируемой отрасли · AI in regulated industries · урок 3 · 13 мин

Данные, закон и data residency

Data, law and data residency

ТемыРегулированиеДанные и приватность

Зачем

После урока ты разложишь данные клиента по классам и скажешь, какие из них могут уйти в облачную модель, какие — только в модель внутри региона, а какие — никуда. Ты узнаешь, как закон о персональных данных и data residency ограничивают выбор модели, judge и места хранения traces, — это частый вопрос на собеседовании в банк, страховую или медицину в ЕС, ОАЭ или США.

Три слова, которые путают

Для LLM-системы важно, что копия данных появляется в нескольких местах. Запрос уходит на inference (вычисление ответа модели). Logs и traces (полная запись шагов агента) хранят текст разговора. Judge читает эти traces при оценке. Eval dataset (набор для оценки) собран из реальных разговоров. Fine-tuning (дообучение) впитывает данные в веса. Каждое место — отдельный вопрос «где и кто имеет доступ».

Общий закон и отраслевые правила

Пример ЕС. GDPR (общий регламент ЕС о защите данных) разрешает передачу персональных данных за пределы ЕС через три основных механизма: adequacy decision (решение Еврокомиссии, что в стране достаточная защита), standard contractual clauses (SCC, типовые договорные условия) и binding corporate rules (BCR, обязательные внутренние правила группы компаний).

Пример ОАЭ. Federal Decree-Law 45/2021 о персональных данных (PDPL) вступил в силу 2 января 2022 года, по обзору Clyde & Co; детали задают исполнительные регламенты, поэтому актуальность проверяй. Основа закона: согласие — opt-in (явное «да»), основания «legitimate interests» (законный интерес), как в GDPR, нет; передача за рубеж — в страны с adequate protection, иначе узкие исключения (исполнение договора, судебные требования, явное согласие). Главное для инженера — исключения из сферы закона: государственные данные, медицинские данные со своим законом, свободные зоны DIFC и ADGM со своими законами и banking data, для которой есть собственное регулирование. То есть для банка главными часто оказываются правила центрального банка, а не общий закон. Правильный ход на работе — спросить compliance, какой режим применим, а не угадывать.

Классы данных и маршрут в коде

Data classification (классификация данных) — основа всех решений. Пример таблицы для банка:

Класс Пример Куда можно
Public тарифы с сайта любая модель
Internal внутренние регламенты облачная модель в разрешённой географии по договору
Customer PII имя, номер счёта, транзакции модель в регионе или on-premises (на своих серверах); в облако — только после redaction с доказанной полнотой
Restricted материалы расследований только внутри закрытого контура

PII (personally identifiable information) — данные, по которым можно узнать человека. Маршрут выбирает код в LLM gateway (шлюзе перед моделями) по классу данных, а не пользователь и не модель. Prompt «не отправляй персональные данные» — совет; правило в gateway — гарантия.

Облако: где на самом деле считается ответ

Регион облака на бумаге ещё не значит, что ответ считается в этом регионе. В Amazon Bedrock есть cross-Region inference (выполнение запроса в другом регионе): geographic profile держит обработку внутри географии (US, EU, APAC), а global profile отправляет запрос в любой коммерческий регион мира и, по документации AWS (открыта 10.10.2026), стоит примерно на 10% дешевле. Журнал CloudTrail записывает такие запросы в исходном регионе, и поле inferenceRegion показывает, где запрос обработали. Набор моделей, доступных внутри конкретного региона, меняется. По проверке документации AWS 08.10.2026 (из исходных материалов курса), в регионе ОАЭ me-central-1 внутри региона были только Amazon Nova Pro и Nova Lite, а остальные модели — через global cross-Region inference. Отсюда правило: проверять документацию в день решения и записывать дату.

Варианты, когда лучшая модель недоступна в нужном регионе: модель, доступная в регионе, после проверки на своих задачах; своя open-weight модель (с открытыми весами) на серверах в регионе; redaction и облако; письменное разрешение compliance. Выбор — компромисс качества, цены и риска, и его записывают.

Redaction — тоже модель, её надо оценивать

Redaction (вырезание PII перед отправкой) — классификатор, а у классификатора есть recall (доля найденных объектов). Пример. На тестовом наборе из 2 000 имён redaction пропустила 30: recall = 1 970 / 2 000 = 98,5%. Если в день идёт 40 000 сообщений, в каждом по одному имени, около 600 имён в день уйдут в облако. Для класса «customer PII только в регионе» это нарушение каждый день.

Поэтому:

Тестовый набор выглядит идеальным, пока в нём нет трудных случаев: redaction со 100% на лёгком наборе может провалиться на трудном.

Evals и traces под теми же правилами

Traces с данными клиентов определяют, где можно запускать evals. Judge работает внутри региона или on-premises либо читает traces после redaction с последовательными заменителями: «[CLIENT_A]» и «[CLIENT_B]», чтобы judge отличал данные одного клиента от другого. Доступ к хранилищу traces ограничен, срок хранения записан. Eval datasets из реальных разговоров обезличивают и хранят с data lineage (происхождением каждой записи). Lineage нужна и для прав клиента: если человек требует удалить свои данные, ты должен найти их в наборах для оценки и дообучения, а не гадать.

Отсюда и осторожность с fine-tuning на данных клиентов. Запись из индекса RAG удаляется одной операцией, а то, что модель запомнила при дообучении, из весов точечно не убрать: придётся переобучать без этих данных. Поэтому знания о конкретных клиентах держат в индексе с фильтром доступа, а дообучение делают на обезличенных примерах стиля и формата.

Схема

Термины · Key terms

data residency
где физически хранятся и обрабатываются данные
data localisation
требование закона держать данные в стране
cross-border transfer
передача данных в другую юрисдикцию
adequacy decision
решение ЕС, что в стране достаточная защита данных
standard contractual clauses (SCC)
типовые договорные условия для передачи данных
data classification
разбивка данных по классам чувствительности
PII
данные, по которым можно узнать человека
redaction
вырезание или замена PII перед отправкой
on-premises
на собственных серверах организации
cross-Region inference
обработка запроса в другом облачном регионе
data lineage
происхождение и путь каждой записи данных

Сделай сам

Три строки для банковского ассистента: какие данные клиента могут уйти в модель внутри региона, какие — в облачную модель после redaction, какие — никуда. В каждой строке — пример поля и одно условие (например, «номер карты — никуда, даже после redaction: агенту хватает последних 4 цифр из tool»).

Обсуди с тьютором: покажи три строки и спроси, где в твоей схеме данные всё-таки утекут через traces или judge.

Проверь себя · ответ под вопросом

1Почему для банка главными могут оказаться не общий закон о персональных данных, а отраслевые правила?
Закон ОАЭ о персональных данных прямо исключает из своей сферы банковские данные, для которых есть собственное регулирование. Значит, требования к хранению и передаче задаёт регулятор отрасли. Инженер не угадывает режим, а уточняет его у compliance.
2Почему redaction с recall 98,5% может быть недостаточной?
Recall считается на объектах, а поток большой: при 40 000 сообщений с именами в день 1,5% — около 600 утёкших имён ежедневно. Для данных, которые не должны покидать регион, это постоянное нарушение. Кроме того, лёгкий тестовый набор завышает recall, нужен stress corpus.
3Как требование data residency ограничивает выбор judge?
Judge читает traces с данными клиентов, значит, он подчиняется тем же правилам, что и основная модель. Варианты: judge внутри региона или on-premises либо traces после redaction с доказанным recall. Облачный judge на сырых traces — та же трансграничная передача.

Interview questions · US / UK

1Customer data must stay in-country, but the strongest model is only reachable through a global endpoint. What are your options?
Strong answer: classify data first, since public and internal data may use the global model; for customer PII choose an in-region model checked on our own tasks, a self-hosted open-weight model in-region, or redaction with proven recall; get written compliance sign-off; route by data class in the gateway; record the date you checked availability.
2How do you run LLM-as-judge evaluations on traces that contain customer PII?
Strong answer: the judge falls under the same residency rules; run it in-region or on-premises, or on redacted traces with consistent placeholders; measure redaction recall per language; restrict access and set retention for the trace store; keep de-identified, versioned eval sets with lineage; human labelling stays inside the boundary.
3Follow-up: your redaction layer scored 100% recall on its test set. Do you switch it on?
Strong answer: not yet; ask how realistic the set is; add a stress corpus of hard cases (rare names, transliteration, mixed scripts, names in addresses); threshold written before the run; report per language; check a sample of real traffic in-region; keep the in-region route as the fallback and monitor after launch.

Ключевые фразы · Say it aloud

Материалы