Управление корпоративным ИИ: четыре вопроса CIO
Любая ревизия расходов на ИИ сводится к четырём вопросам. Каждый ответ здесь указывает на выпущенный и проверяемый механизм, а не на дорожную карту.
Дать доступ к моделям легко, управлять им — нет. Четыре вопроса ниже определяют, пройдёт ли программа ИИ первый аудит.
Кто какой моделью пользуется и сколько?
Каждый запрос несёт ключ, группу ключей и модель. GateLLM записывает токены входа, выхода и попаданий в кэш по каждому запросу с минутной детализацией и отдаёт дневные и месячные ряды по ключу, группе и модели. Какие клиенты вообще могут подключаться, решает контроль допуска по заголовку запроса.
- •Использование и затраты разбираются по человеку, ключу, группе ключей и модели без восстановления журналов.
- •Контроль допуска клиентов работает по User-Agent в глобальной, групповой и ключевой областях.
- •Записи по запросам сохраняют идентификатор для сквозной трассировки одного вызова.
Сколько это стоит и кто платит?
Расход измеряется по вашему тарифу, а не по прайс-листу поставщика. Зафиксируйте согласованные цены, помечайте вызовы тегами для разнесения, выгружайте отчёты по окнам и задавайте дневные или месячные квоты, которые отклоняют запросы при исчерпании бюджета. GateLLM не добавляет наценку на токены.
- •Снимки тарифа по окнам сохраняют воспроизводимость старых отчётов.
- •Разнесение по тегам превращает расходы на ИИ в распределяемый реестр.
- •Дневные и месячные квоты возвращают 429 при достижении предела: вышедший из-под контроля агент останавливается на выбранной вами сумме.
Уходили ли данные за периметр и можем ли мы это доказать?
Шлюз эксплуатируете вы, поэтому трафик промптов и ответов никогда не проходит через нас. При BYOK ключи поставщиков существуют только в памяти шлюза. Учётные данные и PII обнаруживаются на пути запроса и могут журналироваться, маскироваться или блокироваться по области действия; сохранённые тела журналов маскируются в каждой точке выхода.
- •Запросы идут только в настроенные точки входа моделей, включая собственные источники vLLM или Ollama.
- •Журналы запросов по умолчанию выключены; просмотр исходного содержимого доступен только администраторам и аудируется.
- •SSO через OIDC или SAML и провижининг SCIM; ключи и квоты на арендатора.
Если поставщик откажет или мы сменим модель, сколько кода изменится?
При 5xx или таймауте запрос повторяется у другого поставщика без правок кода приложения. Четыре семейства чат-протоколов переводятся в обе стороны, поэтому клиент сохраняет свой SDK. Идентичность модели сопоставляется в шлюзе — по ключу доступа, по заголовку или по общему правилу, — а метаданные возможностей берутся из реестра.
- •Резервирование между поставщиками при 5xx или таймауте без изменений у клиента.
- •Списки допуска на входе и общие сопоставления сохраняют стабильное имя модели при смене бэкенда.
- •Метаданные возможностей загружаются из реестра: дрейф моделей не требует релиза.