LLM в закрытом контуре: гайд для ИТ-директора
Когда облачные нейросети под запретом, а AI нужен. Как развернуть языковую модель на своём железе: выбор модели, требования к серверу, 152-ФЗ и реальные затраты.
Для банков, медицины, производства и госсектора облачные нейросети часто под прямым запретом: данные нельзя отправлять за периметр. Но потребность в AI это не отменяет. Решение — развернуть модель на собственной инфраструктуре, в закрытом контуре без доступа в интернет.
Что значит «закрытый контур»
Это инсталляция, где языковая модель работает на серверах компании и физически не имеет выхода наружу. Документы, переписка и персональные данные остаются внутри. Для соответствия 152-ФЗ это не «галочка», а архитектурное требование.
Выбор модели
- Open-source (Qwen, Llama, Mistral) — гибкость, импортонезависимость, контроль
- Российские (GigaChat, YandexGPT) — где важна юрисдикция и поддержка вендора
- Размер модели подбирается под задачу: для RAG и ассистента часто хватает 7–32B
Какое железо нужно
Минимальная рабочая конфигурация для команды — сервер с одной-двумя GPU. Для сотен пользователей нужен кластер. На этапе аудита считается не только закупка, но и TCO: электричество, охлаждение, обслуживание. Часто оказывается, что существующего железа достаточно для пилота.
Закрытый контур — единственный вариант там, где регулятор запрещает облако. Это не «дороже ради безопасности», а единственно возможный путь к AI.
С чего начать
Не с закупки серверов, а с Discovery: какие процессы дадут эффект, какая модель и железо нужны, какой ROI. Дальше — пилот на одном процессе с замером качества, и только потом промышленное внедрение.