Jean · Курс

Как устроена LLM · How LLMs work · урок 5 · 14 мин

Open-weight или API: лицензии, локально и в облаке

Open-weight vs API models, licences, local vs cloud

ТемыЛокально или облакоЛицензии

Зачем

После урока ты аргументированно выберешь между моделью по API и open-weight моделью на своём железе или в своём облаке — отдельно для регулируемой компании и для небольшой студии — и прочитаешь лицензию модели, зная, где в ней ловушки. На интервью это вопросы «API or self-hosted?» и «what do you check before shipping a model to a client?», а в работе — решение, от которого зависят данные клиентов, бюджет и юридические обязательства.

Три способа получить модель

  1. API закрытой модели — Claude, GPT, Gemini. Веса никогда не покидают поставщика, ты платишь за tokens и получаешь самую сильную модель без своих GPU.
  2. Open-weight модель на своём железе (on-prem — в своём дата-центре или на своей видеокарте). Веса скачаны, данные никуда не уходят.
  3. Open-weight модель в своём облачном аккаунте — на арендованных GPU или через управляемый сервис. Например, Amazon Bedrock Custom Model Import принимает веса в формате Hugging Face.

Термин точный: open-weight (открытые веса), а не open source. Веса можно скачать, но данные обучения обычно не публикуют, а лицензия может ограничивать использование. «Скачивается бесплатно» не значит «можно продавать».

Что даёт каждый путь

API Open-weight у себя или в своём облаке
Качество самые сильные модели сильные, но обычно на шаг позади
Старт минуты дни: GPU, сервер, мониторинг
Данные уходят поставщику по договору остаются в твоём периметре
Версия поставщик обновляет и выводит модели из работы заморожена: никто не поменяет её под тобой
Дообучение то, что разрешил поставщик любое: LoRA, DPO, своя квантизация
Деньги платишь за каждый token платишь за GPU, даже когда они простаивают
Ответственность безопасность и доступность — у поставщика всё твоё: обновления безопасности, нагрузка, evals

API не означает «данные гуляют где угодно». Пример — документация OpenAI, открытая 10.10.2026: данные API по умолчанию не используются для обучения; журналы для контроля злоупотреблений хранятся до 30 дней; zero data retention (полное нехранение) дают только одобренным клиентам; хранение и обработка внутри региона доступны в США, Европе и ОАЭ, причём для ОАЭ нужно отдельное одобрение. Такие условия у каждого поставщика свои и меняются, поэтому их проверяют на дату решения.

Лицензии: проверять каждую модель и каждый размер

Четыре лицензии, которые встретишь чаще всего (тексты открыты 10.10.2026):

Вывод для интервью: лицензию читают для конкретной модели, версии и размера, а не «у Qwen такая лицензия». Производные — твой LoRA adapter, слияние, квантованный GGUF — несут те же обязательства. И отдельно проверяют условия на использование ответов модели для обучения других моделей.

Регулируемая компания: банк

Банку важнее всего три вещи: где лежат данные клиентов (data residency — хранение и обработка в нужной стране), можно ли доказать регулятору, что модель проверена (model risk management), и не изменится ли модель после проверки.

Open-weight в своём дата-центре или облачном регионе внутри страны закрывает все три: обращения клиентов не уходят поставщику, версия заморожена, дообучение и проверки идут внутри периметра. Цена — команда, которая держит GPU, сервер, мониторинг и сама отвечает за качество. Перед запуском проверяют provenance (происхождение): официальный репозиторий, контрольные суммы, safetensors вместо pickle, отказ от trust_remote_code (исполняемого кода из репозитория). Допускает ли банк модели определённых стран — решают службы риска и compliance (соответствия требованиям); инженер приносит факты.

API с договором и региональной обработкой тоже возможен, но поставщик выводит старые модели из работы — и каждую замену придётся проверять заново.

Частый итог — гибрид за одним gateway (шлюзом): open-weight модели внутри периметра для массовых и чувствительных задач (классификация, redaction (вымарывание) персональных данных, embeddings для поиска), сильная API-модель — для сложных рассуждений на обезличенных данных.

Соло-студия

У студии другие ограничения: нет команды эксплуатации, объём неровный, бюджет считают каждый месяц. API здесь — разумный старт: нет простаивающих GPU, лучшие модели сразу. Open-weight локально оправдан, когда материалы клиента нельзя отдавать наружу, когда нужны тысячи прогонов без счёта за tokens, когда нужно своё дообучение или когда своя GPU уже куплена.

Грубая арифметика окупаемости (цифры условные, только для формулы): если GPU обходится в $1 000 в месяц, а API стоит $2 за миллион tokens, своё железо окупается от 500 млн tokens в месяц — и то если загрузка ровная, а время инженера бесплатно. При таких цифрах небольшой студии до этой границы далеко.

Лицензия для студии важна в момент сдачи работы клиенту: Apache-2.0 — проще всего; Llama — надпись «Built with Llama» в продукте клиента и «Llama» в начале имени дообученной модели, если её передают или распространяют; research-лицензия для платной работы не подходит вовсе.

Схема

Термины · Key terms

open-weight
модель со скачиваемыми весами; данные обучения и права на всё не гарантированы
on-prem
запуск на своём оборудовании в своём периметре
data residency
требование хранить и обрабатывать данные в определённой стране или регионе
zero data retention
режим API, при котором поставщик не хранит запросы и ответы
Apache-2.0
разрешительная лицензия: бессрочно и бесплатно, с текстом лицензии и NOTICE при распространении
MAU (monthly active users)
активные пользователи в месяц; порог в лицензиях Qwen и Llama
Acceptable Use Policy
список запрещённых применений, обязательный по лицензии Llama
provenance
происхождение весов: официальный источник, контрольные суммы, формат
model risk management
проверка, реестр и мониторинг моделей, которых требует регулятор
gateway
единая точка входа, которая направляет запросы к разным моделям и пишет их в журнал

Сделай сам

Сделай таблицу на бумаге или в заметке на 5 строк: Qwen3-8B, Qwen2.5-72B-Instruct, Qwen2.5-3B-Instruct, Llama-3.1-8B-Instruct и одна API-модель на твой выбор. Колонки: лицензия, можно ли в платный проект клиента, что обязан написать или назвать, порог MAU, где лежат данные. Заполни по ссылкам из «Материалов» и карточкам моделей на Hugging Face. В конце одна строка: какую модель ты взял бы для бота студии с материалами клиента и почему.

Обсуди с тьютором: покажи таблицу и попроси тьютора сыграть юриста клиента, который спрашивает «what exactly are we allowed to do with this model?», — ответь на три его вопроса.

Проверь себя · ответ под вопросом

1Почему «open-weight» не то же самое, что «можно использовать как угодно»?
Open-weight значит только, что веса можно скачать. Права определяет лицензия: Qwen research license разрешает лишь исследования и оценку, лицензия Llama требует надпись «Built with Llama», имя с «Llama» для производных и соблюдение Acceptable Use Policy. Данные обучения при этом обычно не публикуют.
2Что open-weight модель в своём регионе даёт банку, чего не даёт API, и что она стоит?
Данные клиентов остаются в периметре, версия заморожена и не поменяется после проверки, дообучение и проверки идут внутри. Цена — свои GPU, команда эксплуатации и полная ответственность за качество, безопасность и нагрузку. Часто сильнейшая модель всё равно доступна только по API, отсюда гибрид.
3Почему лицензию проверяют для каждого размера модели отдельно?
Внутри одной семьи лицензии разные: Qwen3-8B под Apache-2.0, Qwen2.5-72B-Instruct под Qwen LICENSE AGREEMENT с порогом 100 млн MAU, Qwen2.5-3B-Instruct под research-лицензией только для некоммерческого использования. Обязательства переходят и на производные: adapter, слияние, квантованный файл.

Interview questions · US / UK

1A bank wants a customer-facing assistant. Would you use a hosted API model or self-host an open-weight model? Walk me through the decision.
Strong answer: start from constraints — data residency, model risk validation, frozen versions, audit; open-weight in-region keeps data in the perimeter and freezes the version but costs GPUs, an ops team and owning quality; API gives the strongest models and vendor terms (no training on API data, retention windows, regional processing) but versions get deprecated and need revalidation; often a hybrid behind a gateway with de-identified data to the API; vendor-origin policy is a risk and compliance call.
2What is the difference between open-weight and open source, and what do you check in a model licence before shipping a product?
Strong answer: open-weight means downloadable weights, usually without training data, under a licence that can restrict use; check commercial use, user thresholds (Llama 700M MAU, Qwen 100M MAU), attribution ("Built with Llama", NOTICE), naming of derivatives, acceptable use policy, rules on using outputs to train other models, governing law; check per model, version and size; derivatives inherit obligations.
3Follow-up: a teammate wants to ship Qwen2.5-3B-Instruct in a paid client product because "Qwen is Apache 2.0". What do you do?
Strong answer: check the actual card and LICENSE — that size uses the Qwen research licence, research or evaluation only; commercial use needs a separate licence; propose an Apache-2.0 alternative such as Qwen3-8B if it fits our hardware; rerun our eval on it; record the licence per model in the model inventory so this is caught before shipping.

Ключевые фразы · Say it aloud

Материалы