Planejamento de ponta. Execução com SOTA aberto. Cerca de 1/7 do custo.
Modelos de primeira linha cuidam do planejamento; modelos SOTA abertos executam os 90% rotineiros da carga. A composição leva a conta a ~1/7 — os números são calculados ao vivo na calculadora, não afirmados aqui.
- ✓Combine modelos: o Claude Opus planeja, DeepSeek / Qwen executam — ~1/7 do custo, até 90% mais barato
- ✓O gateway decide qual modelo roda: qualquer que seja a configuração do cliente, o modelo de destino é o que os admins fixaram — lista de permissões na entrada + mapeamento curinga "*"
- ✓Um protocolo basta: fale OpenAI ou Anthropic e alcance modelos das quatro famílias de chat (OpenAI / Anthropic / Gemini / DashScope) — trocar de modelo nunca toca seu código
- ✓Os dados ficam no local: totalmente auto-hospedado, os prompts nunca chegam até nós; credenciais e PII detectadas no caminho da requisição — log / mascarar / bloquear por escopo
from openai import OpenAI
# One line change: point your SDK at your own gateway
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Plan the architecture"}],
)Três coisas que o gateway faz e que um único modelo não faz
Combine modelos para cortar custo, imponha qual deles realmente roda e mantenha o código do cliente em um único protocolo.
Integrado a mais de 100 provedores de LLM · mais de 30 SDKs e frameworks
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
Verifique você mesmo
Publicamos os documentos em vez de pedir que você acredite na nossa palavra. Cada afirmação nesta página tem um rastro documental que você pode ler antes de falar conosco.
- Segurança e conformidadeArquitetura, tratamento de chaves e modelo de isolamento.
- Questionário de segurançaRespostas CAIQ / SIG / VSA, já preenchidas.
- Lista de subprocessadoresTodos os terceiros que podem tocar nos seus dados.
- Resposta a incidentes e suportePrazos de resposta e compromissos de suporte.
Uma interface, combine todos os modelos
Do roteamento simples de modelos à orquestração multi-modelo, o GateLLM oferece um conjunto completo de capacidades de nível empresarial.
Roteamento multi-modelo
Uma interface para chamar todos os modelos. Fallback inteligente, balanceamento de carga e nova tentativa automática.
- API unificada para mais de 100 provedores de LLM
- Roteamento com fallback inteligente
- Balanceamento de carga e limite de taxa
- Pool de chaves upstream: cada chamador fica fixo em uma chave e passa para a próxima em caso de falha
- Ollama / vLLM / llama.cpp como upstreams compatíveis com OpenAI, em um único plano de governança
Composição
Roteamento em camadas por modo de plano, identidade ou formato da requisição: planejamento nos modelos de primeira linha, execução no SOTA aberto. O gateway reescreve o nome do modelo — o código do cliente nunca muda.
- Detecção de modo de plano: planejar na primeira linha, executar no SOTA aberto — zero alteração no cliente
- Mapeamento de modelo por identidade: mesmo nome de modelo → upstreams diferentes por grupo de chaves
- Regras switch-route: redirecione requisições com imagem ou especiais para o modelo certo
- Rebaixamento em agente: plano travado / rebaixamento automático fora do plano
Revisão de código multi-modelo
Execute 2–3 modelos em paralelo na mesma PR. O gateway fornece a interoperabilidade de protocolo e a medição com uma única chave; o fan-out, o merge e a pontuação de confiança ficam na ação de orquestração de código aberto.
- Interoperabilidade de protocolo no gateway: modelos não Anthropic entram em filas de revisão exclusivas do Anthropic
- Uma única chave de acesso mede e governa todo o fan-out
- Fan-out, pontuação [Consensus N/M] e merge ficam em gatellm-io/gatellm-code-review (lado da orquestração)
Governança de ferramentas MCP
Agregue servidores externos de ferramentas MCP atrás de um único endpoint /mcp: ACLs por ferramenta, orçamentos de contexto e auditoria de chamadas. Quais ferramentas um agente pode usar ficam no mesmo plano de permissões que define quais modelos ele pode chamar.
- Vários servidores MCP atrás de um único endpoint /mcp
- Lista de permitir/negar por grupo de chaves + filtros por rótulo
- Recuperação BM25 integrada quando a lista de ferramentas cresce
- Ponte REST: exponha qualquer API REST como ferramenta MCP a partir de uma especificação simplificada, sem código
- Chamadas / violações / sessões MCP totalmente auditadas
Injeção de busca na web
Dê busca na web a todos os modelos, de forma uniforme: o gateway recupera e injeta os resultados, sintetizando blocos de busca nativos por protocolo de cliente — modelos abertos também ganham fundamentação por busca.
- Blocos de busca nativos por protocolo (Anthropic / OpenAI / Responses)
- Alternância tripla por modelo, com degradação suave em caso de falha
- Busca interceptada excluída da cobrança de uso
Controle de custos
Gestão de orçamento, limite de taxa, atribuição de custos por equipe e política de modelos ciente do modo. Nunca acrescentamos margem sobre tokens; BYOK com suas próprias chaves.
- Atribuição de custo por projeto/recurso
- Alertas de orçamento flexíveis
- BYOK: pague aos provedores as tarifas padrão
- Política de modelos ciente do modo (planejar/executar, aplicável)
Governança e integrações
Do controle de acesso de clientes à integração com CI/CD — estenda as capacidades do gateway para seus fluxos de desenvolvimento e colaboração.
- Controle de acesso de clientes (política de User-Agent)
- Revisão de código via GitHub Actions usando seu próprio gateway
- Configuração em lote: preparar → visualizar o conjunto completo de conflitos → commit atômico em transação única
Add-in Office / M365
Add-on pagoUse seu próprio gateway de modelos diretamente no Excel, Word, PowerPoint e Outlook — add-in auto-hospedado, os dados nunca saem da rede, sem dependência de pivô.
- Modelagem financeira no Excel / revisão de contratos no Word / caixa de entrada no Outlook
- Entra SSO + bloqueio por rótulo do Purview
- 33 habilidades de domínio incluídas, add-on pago
Scripts de transformação
Um motor JavaScript em sandbox (QuickJS) reescreve o JSON de requisição e resposta no gateway. Edite no console, entra em vigor na hora — sem reimplantar, sem código de cola.
- Slots antes / depois da requisição + um slot de resposta: veja o formato do cliente antes da tradução ou o formato do upstream depois dela
- context.useModel() troca toda a rota — base_url, protocolo e credenciais juntos
- Biblioteca integrada: json_path / str_* / regex_* / array_* / codificação + hash / UUID + tempo
- Em sandbox (sem rede, sem sistema de arquivos) com modos fail-open/fail-closed e um testador de scripts no console
Combinação de modelos: qualidade que nenhum modelo isolado entrega
A composição é um padrão nativo do gateway; a revisão de código multi-modelo é um padrão do lado da orquestração que o gateway habilita — ambos construídos sobre a camada de normalização de capacidades.
Composição: roteamento em camadas entre modelos
Roteie por modo de plano, identidade ou formato da requisição: o planejamento fica nos modelos de primeira linha, a execução cai para o SOTA aberto. O gateway reescreve o nome do modelo e traduz protocolos — o código do cliente nunca muda.
- ✓Detecção de modo de plano: encaminhe o planejamento para a primeira linha e a execução para o SOTA aberto — zero alteração no cliente
- ✓Mapeamento de modelo por identidade: mesmo nome de modelo → upstreams diferentes por grupo de chaves / cabeçalho
- ✓Regras switch-route: redirecione requisições com imagem ou especiais para o modelo certo
- ✓Sem código de cola — a tradução de protocolo é feita pelo gateway
- ✓Política aplicável: admins travam as camadas de modelo por modo planejar/executar, impedindo o uso de tudo na primeira linha
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// take the last marker-bearing message: later marker wins
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// not in plan mode → switch execution to the cost-efficient model
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}Revisão de código multi-modelo (lado da orquestração)
O gateway habilita o padrão, a camada de orquestração o executa: o claude-code-action fala apenas o protocolo Anthropic, e a interoperabilidade de protocolo do gateway permite que modelos não Anthropic, como qwen3.8-max e kimi-k3, entrem na fila de revisão. Uma única chave de acesso do gateway mede uniformemente todos os modelos de revisão.
- ✓Anotações de confiança [Consensus N/M], merge e deduplicação são produzidos pela ação
- ✓Cada modelo de revisão é cobrado separadamente e agregado de forma uniforme pelo gateway
- ✓O limite de linhas da PR e o agrupamento de comentários históricos já vêm na ação
Três passos para o seu primeiro token.
Passe de um único modelo para a orquestração multi-modelo em três passos, sem reescrever o código de negócio. Qualquer SDK (OpenAI / Anthropic / Gemini / DashScope) funciona.
Implante o gateway
Início com um clique no Docker, ou implantação com Kubernetes Helm no seu ambiente privado.
Configure as chaves
Modo BYOK: informe as chaves de API dos provedores que você já usa, os dados ficam no local e nunca são persistidos.
Troque o endpoint
Aponte o base_url do SDK OpenAI para o GateLLM e chame todos os modelos com uma interface unificada.
Ou entregue ao seu agente
Cole isto no seu agente de código
Instale e configure o gateway GateLLM. Primeiro faça o curl do Markdown bruto deste guia de instalação, leia-o do início ao fim e então siga cada passo na ordem (os passos têm dependências — por exemplo, um grupo de chaves precisa existir antes de uma chave de acesso; não pule etapas):
curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.mdO agente precisa de uma coisa sua: a chave de API do provedor upstream. Ele gera o resto, configura tudo pela API do Console — sem navegador — e termina quando a primeira requisição retorna uma conclusão.
Ou execute você mesmo
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latestSubstitua os três valores de exemplo antes de executar — o guia explica o que é cada um e por que deixá-los como estão é inseguro.
# Just one line change: point base_url to GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# Existing code unchanged, call any model
response = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Hello"}]
)Use o SDK que você já tem. Mude uma linha.
Os mesmos quatro protocolos nos dois lados. Converta qualquer um para qualquer outro sem código de cola, em chat, imagem, fala, vídeo, voz em tempo real, embedding e rerank.
Funciona com o SDK que você já tem
Aponte qualquer SDK ou framework para o gateway com uma linha. OpenAI, Anthropic, Gemini e DashScope se conectam nativamente; LangChain, LlamaIndex, CrewAI, Vercel AI SDK e mais de 30 outros, pela mesma troca de base_url.
Aponte o base_url para o gateway
Padrão https://your-gateway.gatellm.io — incluir ou não /v1 depende do SDK (cada exemplo traz o valor exato).
Troque por uma chave de acesso do gateway
Não é uma chave upstream sk-… — a mesma chave de acesso é montada no cabeçalho que o seu SDK espera.
Use o nome de modelo do gateway
Aquele que você configurou no console — não o nome oficial do fornecedor.
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>SDKs oficiais dos fornecedores
SDKs OpenAI / Anthropic / Google se conectam nativamente — só o base_url muda
DashScope nativo
Texto, imagem, vídeo assíncrono, embedding e rerank por um único endpoint
SDKs e gateways unificados
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI
Frameworks de orquestração
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack
SDKs de agentes
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra
Tempo real e áudio
Voz em tempo real via WebSocket + ASR / TTS openai_audio
Local / auto-hospedado
Ollama, vLLM, llama.cpp como upstreams — mantenha qualquer SDK de cliente
Aponte qualquer agente de código de IA para o gateway
Ver todas as configurações de agentes de código → ↗Ele chama a API Responses, não Chat Completions. Se o upstream for openai (Chat), troque explicitamente com OpenAIChatCompletionsModel; se for openai_response, um nome de modelo em string funciona como está.
A classe OpenAI só aceita famílias que reconhece e rejeita nomes personalizados do gateway — use OpenAILike (Python) ou declare as informações do modelo explicitamente.
base_url não é um parâmetro do framework — é a variável de ambiente OPENAI_API_BASE, e o modelo precisa do prefixo openai/.
O SDK OpenAI usa /v1; o SDK Anthropic usa a raiz (ele mesmo acrescenta /v1/messages); o createAnthropic do Vercel AI SDK usa /v1 (ele acrescenta /messages). Errar isso adiciona ou remove um segmento de caminho.
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages)
# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"Normalização de capacidades: tornando possível a combinação entre fornecedores
A combinação de modelos de fornecedores diferentes se apoia na camada de normalização de capacidades, que unifica sete pontos de acoplamento para que trocar de modelo nunca signifique reescrever código de cola.
Normalização de chamada de ferramentas
OpenAI / Anthropic / Gemini / modelos chineses têm esquemas de chamada de ferramentas diferentes. Unificamos tudo na base: escreva o código uma vez e chame todos os modelos.
Compatibilidade de saída estruturada
Cada provedor usa protocolos diferentes (schema JSON estrito, json_mode, tool_use). Unificamos em uma interface consistente.
Unificação do cache de prompt
cache_control do Anthropic, cache automático do OpenAI, contexto do Gemini — cada um tem um mecanismo diferente. Oferecemos uma estratégia de cache unificada.
Adaptação de tokens de raciocínio
Os formatos de saída de o1 / raciocínio do Claude / DeepSeek R1 diferem. Adaptamos ao protocolo de tokens de raciocínio de cada provedor.
Suporte a formatos multimodais
Protocolos de visão / áudio / upload de arquivos diferem entre provedores. Unificamos os formatos de entrada multimodal.
Abstração do modelo de cobrança
A estrutura de preços de cada provedor é diferente. Abstraímos para uma interface unificada de acompanhamento de custos.
Normalização da semântica de erros
Códigos e corpos de erro de cada fornecedor diferem. Normalizamos para um corpo de erro uniforme, com z-request-id correlacionando cada requisição de ponta a ponta.
Fluxo de dados: fica no local, nunca é persistido
No modo BYOK, as chaves de API ficam armazenadas apenas na memória do gateway, nunca são persistidas nem transmitidas. As requisições passam pelo gateway diretamente para as APIs oficiais dos provedores; os dados nunca saem da sua rede privada.
Por que ~1/7 do custo?
Considere uma empresa que processa 1 bilhão de tokens por dia: mesma carga de trabalho — compare a conta de "primeira linha de ponta a ponta" com "primeira linha planeja, modelos abertos executam".
Claude Opus 5 planeja + executa, tudo na primeira linha
~90% de execução no SOTA aberto, 10% essencial de planejamento na primeira linha
Três fontes de economia:
- 1.BYOK sem margem sobre tokens — você paga aos provedores as tarifas padrão, o GateLLM não fica com nenhuma comissão intermediária (agregadores normalmente acrescentam taxas de plataforma e de pagamento sobre o preço de lista);
- 2.Composição — modelos SOTA abertos (GLM / Qwen / DeepSeek) executam a maior parte (classificação, extração, tradução), modelos fechados de primeira linha (como o Claude Opus) só para planejamento e raciocínio difícil;
- 3.Cache de prompt — chamadas de alta frequência acertam o cache, o preço unitário cai 50%–90%.
Os números são modelos ilustrativos baseados em preços públicos; a economia real depende do cenário de negócio e das proporções da mistura. A licença Pro de $400/mês (instância única de 2GB) está incluída no plano GateLLM.
Uso que você enxerga, custo que você fecha, orçamentos que você segura
O Token Ops rastreia quem usa o quê; o Token FinOps transforma tokens em dinheiro cobrável e limitado. Um único plano de controle torna o gasto com IA tão operável quanto o gasto com nuvem.
Observabilidade de uso e custo
Detalhe cada chamada por modelo, chave de acesso e grupo de chaves, com tokens de entrada / saída / acerto de cache medidos separadamente em granularidade de 1 minuto.
- Agrupado por modelo / chave / grupo de chaves
- Entrada, saída e acerto de cache medidos separadamente
- Séries temporais de 24h / 7d / 30d / personalizadas
Admissão de clientes e trilha de auditoria
Só clientes que você aprovou alcançam o gateway — permita, limite ou negue por User-Agent. Cada chamada deixa um registro auditável para governança de endpoints e evidências de conformidade.
- Controle de acesso de clientes (política de User-Agent)
- Registros de chamadas com retenção de logs (Pro e acima)
- Integração com auditoria / DLP (Enterprise)
API de gerenciamento (controle programático)
EnterpriseGerencie o gateway via API: crie / revogue chaves de API, defina cotas e orçamentos, consulte uso e custo, exporte logs de auditoria — conecte à sua operação interna e aos sistemas de cobrança.
- Criação / revogação programática de chaves de API
- Cotas e orçamentos via API
- API de consulta de uso e custo
- Exportação de logs de auditoria
Sua própria tabela de preços e snapshots
Informe manualmente o preço privado que você negociou e ele passa a ser autoritativo — atualizações do sistema nunca o sobrescrevem. Cada preço tem uma janela de vigência: agende reduções com antecedência, e edições nunca reescrevem custos históricos.
- Preço privado fixado tem precedência sobre o automático, nunca é sobrescrito
- Snapshots entram em vigor por janela de tempo
- Preencha o histórico / agende reduções de preço
- Modos de cobrança por token · por chamada · por segundo
Alocação por tags e repasse de custos
Marque chaves e grupos de chaves com tags e agregue uso e custo por tag para levar o gasto com tokens ao centro de custo certo. A exportação em Excel divide o extrato por modelo × chave para showback ou chargeback interno.
- Tags livres em chaves / grupos de chaves
- Agregação de uso e custo por tag
- Exportação Excel com 6 planilhas (incluindo chave × modelo)
- Pronto para showback / chargeback interno
Cotas e limites de custo
Defina tetos de gasto diários e mensais por chave — avaliados de forma independente no dia e no mês do calendário UTC, bloqueados no momento em que qualquer um deles estoura. As cotas herdam chave → grupo → global, adotando a mais ampla entre os grupos.
- Tetos diário / mensal, avaliados de forma independente
- Herança chave → grupo → global
- 429 quota_exceeded, Retry-After no diário
GateLLM vs LiteLLM
Uma comparação verificada na fonte. Só o GateLLM oferece vários mecanismos que o LiteLLM não tem; ambos compartilham uma base consolidada; algumas coisas diferem em natureza. Decida pelas duas camadas principais, não pelo ruído de marketing.
Só o GateLLM faz isto
Mecanismos que o LiteLLM não tem — o "como funciona" em uma linha fica abaixo de cada capacidade.
| Capacidade | GateLLM | LiteLLM |
|---|---|---|
| Troca condicional de modeloRegras declarativas switch-route + detecção integrada de modo de plano + scripts context.useModel() — zero alteração no cliente. O LiteLLM precisa de callbacks Python personalizados. | Sim | Não |
| Mistura de modelos / SDKs entre protocolosEntradas nativas qualquer-para-qualquer — chame GPT pelo SDK Anthropic, DeepSeek pelo SDK Gemini. O LiteLLM é centrado em OpenAI; os caminhos inversos passam por camadas de compatibilidade. | Sim | Não |
| Commit de configuração em transação únicaPreparar → visualizar o conjunto completo de conflitos → commit atômico; o lote inteiro é revertido em qualquer conflito. | Sim | Não |
| Bloqueio rígido por cota de custoCiclos diário / mensal retornam 429 quota_exceeded no momento em que o gasto estoura. O LiteLLM só envia alertas de orçamento. | Sim | Não |
| Cobrança à prova de falhasPré-débito → fechamento → estorno com um extrato de operações em andamento — correto mesmo com falhas do processo. | Sim | Não |
| Pool de chaves upstream e vínculo fixoHash FNV-1a ponderado fixa cada chamador em uma chave e passa para a próxima não tentada; weight=0 fica em espera. | Sim | Não |
| Três modos de cobrança + várias moedasToken / por chamada / por duração, USD/CNY/EUR/JPY/GBP, dimensões personalizadas. O LiteLLM só faz acompanhamento baseado em tokens. | Sim | Não |
| Login de credenciais SSO no upstreamIntegra fornecedores sem chaves estáticas (por exemplo, Kiro). O LiteLLM aceita apenas chaves de API estáticas. | Sim | Não |
| Registro de metadados de capacidadeAlimenta injeção e degradação automáticas; mudanças de capacidade de novos modelos não exigem alteração de código. | Sim | Não |
| Branch de release LTSN-1 + branch LTS (veja /lifecycle). O LiteLLM suporta apenas as 4 últimas linhas menores. | Sim | Não |
Ambos fazem bem
Uma base consolidada — qualquer um dos gateways cobre esta camada. A decisão está nas camadas acima e abaixo.
| Capacidade | GateLLM | LiteLLM |
|---|---|---|
| Roteamento de API · fallback · balanceamento de carga | Sim | Sim |
| BYOK, sem margem sobre tokens | Sim | Sim |
| Totalmente auto-hospedado, dados ficam no local | Sim | Sim |
| Normalização de chamada de ferramentas entre fornecedores | Sim | Sim |
| Normalização de saída estruturada (JSON Schema) | Sim | Sim |
| Adaptação de tokens de raciocínio / pensamento | Sim | Sim |
| Cache de prompt entre modelos | Sim | Sim |
| Injeção de busca na web | Sim | Sim |
| Gateway MCP (agregação de ferramentas) | Sim | Sim |
| Console visual para configuração | Sim | Sim |
| Logs de auditoria e medição de uso / custo | Sim | Sim |
Verificado contra a documentação oficial de cada produto em 2026-09-04 (docs.litellm.ai / docs.gatellm.io). Algumas capacidades do LiteLLM exigem licença Enterprise; os detalhes podem mudar — confira as fontes antes da compra.
Segredos e PII são detectados na entrada — você decide o que acontece depois.
Um motor de regras determinísticas inspeciona cada requisição de modelo em busca de formatos de credenciais e PII, e registra o que encontrou sem registrar o segredo em si. As regras integradas vêm desligadas e em modo de observação; você as arma e escolhe registrar, mascarar ou bloquear por escopo. Nenhum modelo fica no caminho de detecção.
Detecção determinística, sem modelo no caminho
Determinística por construção: primeiro, sondas literais; depois, regras de regex que exigem palavras de contexto; por fim, validadores de checksum — Luhn para números de cartão, mod-97 para IBAN, o checksum de documento nacional, blocos de chave privada PEM e OpenSSH, IPv4.
- Formatos de credenciais: chaves de API de provedores de modelos, chaves de acesso de nuvem, tokens do GitHub e GitLab, JWTs, chaves privadas PEM e OpenSSH, tokens do Slack
- Classes de PII: celulares da China continental, documentos nacionais de residente, números de cartão bancário, IBANs, endereços de e-mail, endereços IPv4
- Conversas com vários turnos verificam apenas o que é novo — uma cadeia de hashes de cursor impede que uma sessão longa verifique de novo um texto já liberado
Mascaramento que o cliente consegue atravessar; bloqueio que não vaza nada
No modo mascarar, o modelo upstream recebe placeholders numerados e o seu cliente recebe os valores reais restaurados — incluindo restauração por quadro SSE durante o streaming. No modo bloquear, a recusa carrega a categoria da regra e um ID de requisição, nunca o texto correspondido.
- O upstream vê placeholders; quem é dono dos dados vê os próprios valores de volta
- Colagens longas não ficam isentas — strings grandes demais são gravadas em disco e verificadas de volta em janelas de tamanho fixo, mantendo a memória estável independentemente do tamanho da carga
- A allowlist compara por valor, nunca por caminho: aprovar uma chave de teste não isenta silenciosamente um campo inteiro
Corpos de log: armazenados como recebidos, redigidos em toda saída
A persistência de logs de requisição vem desligada na imagem distribuída. Ligue-a e os corpos são armazenados como recebidos e então redigidos em toda superfície de saída — a API do Console redige por padrão, a saída SSE e de terminal é sempre redigida, e uma falha de redação fecha a resposta em vez de vazar por ela.
- Revelar conteúdo bruto é um ato explícito: papel de admin mais um sinalizador de revelação explícito, auditado e contabilizado
- A redação cobre chaves sensíveis do corpo, parâmetros sensíveis de consulta e URL, cabeçalhos estáticos e personalizados de esquema de autenticação, e valores de token bearer com revelação parcial
- Um achado guarda um trecho mascarado com contexto ao redor limitado, nunca o texto correspondido; os achados compartilham a janela de retenção de logs, 7 dias por padrão
Desligado por padrão, de propósito
O pacote de regras integrado vem desativado, e a ação de toda regra integrada é registrar. Essa é a implantação segura, não uma lacuna: veja o que teria acontecido no seu tráfego real, ajuste a allowlist contra seus próprios falsos positivos e então arme mascarar ou bloquear onde importa. A política tem escopo global, por grupo de chaves de acesso ou por chave de acesso, e as regras são recarregadas a quente.
- 1
logObservar. Os achados chegam ao console com trechos mascarados; a requisição em si não é tocada.
- 2
maskAplicar, de forma reversível. O upstream vê placeholders; seu cliente ainda recebe o valor real.
- 3
blockRecusar. A requisição é rejeitada com a categoria da regra e um ID de requisição — nunca o texto correspondido.
O que é, e o que não é
O que é
- Roda dentro do seu próprio processo de gateway, no caminho da requisição de modelo, com escopo global / por grupo de chaves de acesso / por chave de acesso
- Uma página dedicada no console: visão de achados para papéis admin e monitor, visão de regras para admin, um interruptor de liga/desliga com pré-verificação de orçamento de memória, recarga a quente e entradas de auditoria
- Um endpoint de pré-visualização em modo de teste, para que uma regra possa ser testada com uma amostra antes de ser armada
- Cada achado rastreia até um nome de regra, categoria, severidade, ação tomada, contagem de correspondências, modelo e nome da chave de acesso
O que não é
- Sem detecção de conteúdo de resposta — o trecho de resposta apenas restaura placeholders
- Sem ML, sem detecção de jailbreak ou injeção de prompt e sem API de moderação: as regras são determinísticas
- Sem reauditoria offline — conteúdo que não foi verificado no momento da requisição não é verificado depois
- Não é um conjunto de DLP: sem cobertura de endpoint, e-mail ou outros canais de saída
- Sem detectores de passaporte, SSN, nome ou endereço, e lacunas residuais conhecidas estão documentadas — mídia codificada em base64 é ignorada, e um placeholder dividido entre dois quadros de stream passa inalterado
O que você realmente recebe.
As três coisas que importam para o time de compras, resolvidas antes do preço: um DPA que o jurídico pode assinar, uma conta que não dispara e prompts que nunca chegam até nós.
Um DPA que seu jurídico pode assinar
Pronto para GDPR e CCPA, com um DPA que o seu time jurídico pode realmente assinar. Auto-hospedado — os dados nunca saem do seu perímetro — com SSO empresarial (OIDC / SAML 2.0) e provisionamento SCIM 2.0 incluídos.
Uma conta que não dispara
BYOK: pague aos provedores as tarifas padrão — sem margem sobre tokens, sem cobrança por assento. Tetos rígidos de cota por chave e por projeto impedem que um script descontrolado ultrapasse seu orçamento.
Seus prompts nunca chegam até nós
Totalmente auto-hospedado — seus prompts e conclusões nunca entram nos nossos sistemas. As chaves BYOK vivem apenas na memória do gateway; as requisições vão direto para as APIs dos provedores, sem nunca sair da sua rede.
Totalmente auto-hospedado · Instância única de 2GB · Nunca cobramos margem sobre tokens
BYOK (traga suas próprias chaves) — você paga aos provedores as tarifas padrão. Licenciamos uma instância única de 2GB, nunca por assentos nem com margem sobre tokens. Mais memória ou várias instâncias passam pelo Enterprise.
Incluído em todos os planos: BYOK sem margem sobre tokens · roteamento para mais de 100 provedores · controle de acesso de clientes · cache de prompt · cotas de custo
Free
Totalmente auto-hospedado · Licença única
Instância única de 512MB, sem retenção de logs — ideal para avaliação e PoCs, não para tráfego de produção.
- ✓Roteamento para mais de 100 LLMs · Fallback · Balanceamento de carga
- ✓Mistura de modelos entre fornecedores · rebaixamento em agente (plano travado / rebaixamento automático fora do plano)
- ✓Controle de acesso de clientes (política de User-Agent)
- ✓Cache de prompt
- ✓BYOK (traga suas próprias chaves, sem margem)
- ✓Teto de memória de 512MB · SQLite · instância única
- ✓Revisão de código via GitHub Actions usando seu próprio gateway
- ✓Sem retenção de logs
Pro
/ mês · instância única de 2GB (teto fixo) · teste grátis de 21 dias
Teto fixo de 2GB, sem complemento. Para vários nós, conformidade (Auditoria/DLP) ou a API de Gerenciamento, vá para o Enterprise.
- ✓Todos os recursos do Free
- ✓2GB de memória · instância única (teto fixo, sem complemento)
- ✓Retenção de logs
- ✓SSO empresarial (OIDC: Azure AD / Okta / genérico, além de SAML 2.0 + SCIM)
- ✓PostgreSQL · 2GB de memória
- ✓Suporte por e-mail / ticket
Reembolso de 100% em até 30 dias se não ficar satisfeito
Enterprise
Por capacidade de memória · Cobrado anualmente · Reembolso em 30 dias
- ✓Todos os recursos do Pro
- ✓Cobrança por capacidade (nós × memória, $400/GB/mês fixo)
- ✓Implantação multi-nó / em cluster
- ✓Revisão de código via GitHub Actions usando seu próprio gateway
- ✓Add-in do Microsoft 365 (Excel/Word/PPT/Outlook, add-on pago)
- ✓Retenção estendida de logs
- ✓Resposta de suporte prioritária
- ✓Conformidade (Auditoria / DLP)
- ✓API de Gerenciamento (chave de API programática · cota · consulta de uso · exportação de auditoria)
Precisa de mais capacidade ou de uma configuração personalizada? Fale conosco →
Comparação de recursos
| Capacidade | Free | Pro | Enterprise |
|---|---|---|---|
| Roteamento multi-modelo · Fallback · Balanceamento de carga | ✓ | ✓ | ✓ |
| Mistura de modelos entre fornecedores (planejamento/execução por fornecedor) | ✓ | ✓ | ✓ |
| Rebaixamento de modelo em agente (plano travado / rebaixamento automático fora do plano) | ✓ | ✓ | ✓ |
| Cache de prompt | ✓ | ✓ | ✓ |
| BYOK (traga suas próprias chaves, sem margem) | ✓ | ✓ | ✓ |
| Camada de memória | 512MB | 2GB (fixo) | Personalizado |
| Armazenamento / banco de dados | SQLite (instância única) | PostgreSQL · 2GB | PostgreSQL + cluster Redis |
| Escala de implantação | 1 instância | 1 instância · 2GB | Multi-nó / cluster |
| Vazão por GB (referência) | — | 2GB ≈ 200M TPM / 1.000 RPM | ≈ 100M TPM / 500 RPM por GB |
| Retenção de logs | Nenhuma | Retidos | Retenção estendida |
| SSO (OIDC / SAML 2.0) | — | ✓ | ✓ |
| Provisionamento automático SCIM 2.0 | — | ✓ | ✓ |
| Conformidade (Auditoria / DLP) | — | — | ✓ |
| API de Gerenciamento (chave programática · cota · uso · auditoria) | — | — | ✓ |
| Tabela de preços própria / snapshots de preço (incluindo preços privados) | ✓ | ✓ | ✓ |
| Cotas de custo (diárias / mensais, herança em três níveis) | ✓ | ✓ | ✓ |
| Resposta de suporte | Comunidade | E-mail / ticket | Resposta prioritária |
| Política de modelos ciente do modo (planejar/executar, aplicável) | ✓ | ✓ | ✓ |
| Controle de acesso de clientes (política de User-Agent) | ✓ | ✓ | ✓ |
| Revisão de código no GitHub Actions (pelo seu gateway) | ✓ | ✓ | ✓ |
| Add-in Microsoft 365 (Excel/Word/PPT/Outlook, auto-hospedado) | — | Add-on | Add-on |
| Bloqueio por rótulo de sensibilidade do Purview (addin.access / file.upload) | — | — | ✓ |