Planificación de frontera. Ejecución con SOTA abierto. Un séptimo del costo.
Los modelos de primer nivel se encargan de la planificación; los modelos SOTA abiertos se encargan del 90% de las tareas rutinarias. La composición lleva la factura a ~1/7: las cifras se calculan en vivo en la calculadora, no se afirman aquí.
- ✓Combine modelos: Claude Opus planifica, DeepSeek / Qwen ejecutan — ~1/7 del costo, hasta 90% más barato
- ✓El gateway decide qué modelo se ejecuta realmente: sea cual sea la configuración del cliente, el modelo final es el que fijaron los administradores — lista de permitidos en la entrada + mapeo comodín «*»
- ✓Un solo protocolo basta: hable OpenAI o Anthropic y llegue a los modelos de las cuatro familias de protocolos de chat (OpenAI / Anthropic / Gemini / DashScope) — cambiar de modelo nunca toca su código
- ✓Los datos se quedan en su infraestructura: totalmente autoalojado, los prompts nunca llegan a nosotros; credenciales y PII detectadas en la ruta de la petición — registrar / enmascarar / bloquear por ámbito
from openai import OpenAI
# One line change: point your SDK at your own gateway
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Plan the architecture"}],
)Tres cosas que hace el gateway y que un solo modelo no puede
Combine modelos para recortar costos, imponga cuál se ejecuta realmente y mantenga el código del cliente en un solo protocolo.
Integrado con más de 100 proveedores de LLM · Más de 30 SDK y frameworks
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
Compruébelo usted mismo
Publicamos los documentos en lugar de pedirle que confíe en nuestra palabra. Cada afirmación de esta página tiene un respaldo documental que puede leer antes de hablar con nosotros.
Una interfaz, todos los modelos a su medida
Desde el enrutamiento simple de modelos hasta la orquestación multimodelo, GateLLM ofrece capacidades integrales de nivel empresarial.
Enrutamiento multimodelo
Una interfaz para llamar a todos los modelos. Conmutación por error inteligente, balanceo de carga y reintentos automáticos.
- API unificada para más de 100 proveedores de LLM
- Enrutamiento con conmutación por error inteligente
- Balanceo de carga y limitación de velocidad
- Pool de claves upstream: cada llamador se fija a una clave y pasa a la siguiente si falla
- Ollama / vLLM / llama.cpp como upstreams compatibles con OpenAI, un solo plano de gobernanza
Composición
Enrutamiento por niveles según el modo de planificación, la identidad o la forma de la solicitud: planificación en modelos de primer nivel, ejecución en SOTA abierto. El gateway reescribe el nombre del modelo y el código del cliente nunca cambia.
- Detección del modo de planificación: planificar en primer nivel, ejecutar en SOTA abierto, sin cambios en el cliente
- Mapeo de modelos por identidad: el mismo nombre de modelo apunta a distintos upstreams según el grupo de claves
- Reglas switch-route: redirigen solicitudes con imágenes o especiales al modelo adecuado
- Degradación dentro del agente: planificación fija / degradación automática fuera de planificación
Revisión de código multimodelo
Ejecute 2 o 3 modelos en paralelo sobre el mismo PR. El gateway aporta la interoperabilidad de protocolos y la medición con una sola clave; la distribución, la fusión y la puntuación de confianza viven en la acción de orquestación de código abierto.
- Interoperabilidad de protocolos del gateway: modelos que no son de Anthropic se suman a colas de revisión exclusivas de Anthropic
- Una sola clave de acceso mide y gobierna toda la distribución
- La distribución, la puntuación [Consensus N/M] y la fusión viven en gatellm-io/gatellm-code-review (lado de orquestación)
Gobernanza de herramientas MCP
Agregue servidores externos de herramientas MCP detrás de un único endpoint /mcp: ACL por herramienta, presupuestos de contexto y auditoría de llamadas. Qué herramientas puede usar un agente vive en el mismo plano de permisos que qué modelos puede llamar.
- Varios servidores MCP detrás de un único endpoint /mcp
- Permitir/denegar herramientas por grupo de claves y filtros por etiqueta
- Recuperación BM25 integrada cuando la lista de herramientas crece
- Puente REST: envuelva cualquier API REST como herramienta MCP a partir de una especificación simplificada, sin código
- Llamadas, violaciones y sesiones MCP totalmente auditadas
Inyección de búsqueda web
Dé búsqueda web a todos los modelos, de forma uniforme: el gateway recupera e inyecta resultados y sintetiza bloques de búsqueda nativos por protocolo de cliente. Los modelos abiertos también obtienen fundamento de búsqueda.
- Bloques de búsqueda nativos por protocolo (Anthropic / OpenAI / Responses)
- Interruptor de tres estados por modelo, con degradación elegante ante fallos
- La búsqueda interceptada se excluye de la facturación de uso
Control de costos
Gestión de presupuestos, limitación de velocidad, atribución de costos por equipo y política de modelos según el modo. Nunca recargamos tarifas por token: BYOK con sus propias claves.
- Atribución de costos por proyecto o funcionalidad
- Alertas de presupuesto flexibles
- BYOK: pague a los proveedores a tarifas estándar
- Política de modelos según el modo (planificar/ejecutar, aplicable)
Gobernanza e integraciones
Desde el control de acceso de clientes hasta la integración con CI/CD: lleve las capacidades del gateway a sus flujos de desarrollo y colaboración.
- Control de acceso de clientes (política por User-Agent)
- Revisión de código en GitHub Actions a través de su propio gateway
- Configuración por lotes: preparar → previsualizar el conjunto completo de conflictos → confirmación atómica en una sola transacción
Complemento para Office / M365
Complemento de pagoUse su propio gateway de modelos directamente dentro de Excel, Word, PowerPoint y Outlook: complemento autoalojado, los datos nunca salen de la red, sin dependencia de un intermediario.
- Modelado financiero en Excel / revisión de contratos en Word / bandeja de entrada en Outlook
- SSO de Entra + control por etiquetas de Purview
- 33 habilidades de dominio incluidas, complemento de pago
Scripts de transformación
Un motor JavaScript en sandbox (QuickJS) reescribe el JSON de solicitud y respuesta en el gateway. Se edita en la consola y se aplica en vivo: sin reimplementar, sin código de pegamento.
- Ranuras before / after de solicitud y una ranura de respuesta: vea el formato del cliente antes de la traducción o el formato upstream después
- context.useModel() cambia toda la ruta: base_url, protocolo y credenciales a la vez
- Biblioteca integrada: json_path / str_* / regex_* / array_* / codificación + hash / UUID + tiempo
- En sandbox (sin red ni sistema de archivos) con modos fail-open/fail-closed y un probador de scripts en la consola
Combinación de modelos: una calidad que ningún modelo por sí solo puede ofrecer
La composición es un patrón nativo del gateway; la revisión de código multimodelo es un patrón del lado de la orquestación que el gateway habilita. Ambos se apoyan en la capa de normalización de capacidades.
Composición: enrutamiento por niveles entre modelos
Enrute según el modo de planificación, la identidad o la forma de la solicitud: la planificación se queda en los modelos de primer nivel y la ejecución baja al SOTA abierto. El gateway reescribe el nombre del modelo y traduce los protocolos; el código del cliente nunca cambia.
- ✓Detección del modo de planificación: planificar en primer nivel, ejecutar en SOTA abierto, sin cambios en el cliente
- ✓Mapeo de modelos por identidad: el mismo nombre de modelo apunta a distintos upstreams según el grupo de claves o la cabecera
- ✓Reglas switch-route: redirigen solicitudes con imágenes o especiales al modelo adecuado
- ✓Sin código de pegamento: la traducción de protocolos la maneja el gateway
- ✓Política aplicable: los administradores fijan los niveles por modo de planificación/ejecución, y detienen el uso exclusivo de primer nivel
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// take the last marker-bearing message: later marker wins
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// not in plan mode → switch execution to the cost-efficient model
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}Revisión de código multimodelo (lado de la orquestación)
El gateway habilita el patrón y la capa de orquestación lo ejecuta: claude-code-action solo habla el protocolo de Anthropic, y la interoperabilidad de protocolos del gateway permite que modelos que no son de Anthropic, como qwen3.8-max y kimi-k3, se sumen a la cola de revisión. Una sola clave de acceso al gateway mide de forma uniforme cada modelo de revisión.
- ✓Las anotaciones de confianza [Consensus N/M], la fusión y la deduplicación las produce la acción
- ✓Cada modelo de revisión se factura por separado y el gateway los agrega de forma uniforme
- ✓El límite de líneas por PR y el colapso de comentarios históricos vienen integrados en la acción
Tres pasos para su primer token.
Pase de un solo modelo a la orquestación multimodelo en tres pasos, sin reescribir el código de negocio. Cualquier SDK (OpenAI / Anthropic / Gemini / DashScope) funciona.
Despliegue el gateway
Inicio con Docker en un clic, o despliegue con Kubernetes Helm en su entorno privado.
Configure las claves
Modo BYOK: introduzca las claves de API de sus proveedores existentes; los datos permanecen on-prem y nunca se persisten.
Reemplace el endpoint
Apunte el base_url del SDK de OpenAI a GateLLM y llame a todos los modelos con una interfaz unificada.
O déjeselo a su agente
Pegue esto en su agente de programación
Instale y configure el gateway GateLLM. Primero descargue con curl el Markdown sin procesar de esta guía de instalación, léalo de principio a fin y luego siga cada paso en orden (los pasos tienen dependencias; por ejemplo, debe existir un grupo de claves antes que una clave de acceso; no se adelante):
curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.mdEl agente necesita una sola cosa de usted: la clave de API del proveedor upstream. Genera el resto, lo configura todo a través de la API de la consola (sin navegador) y termina cuando la primera solicitud devuelve una finalización.
O ejecútelo usted mismo
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latestReemplace los tres valores de marcador de posición antes de ejecutar; la guía explica qué es cada uno y por qué dejarlo tal cual no es seguro.
# Just one line change: point base_url to GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# Existing code unchanged, call any model
response = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Hello"}]
)Traiga el SDK que ya tiene. Cambie una línea.
Los mismos cuatro protocolos en ambos lados. Convierta cualquiera en cualquiera sin código de pegamento, en chat, imagen, voz, video, voz en tiempo real, embedding y rerank.
Funciona con el SDK que ya tiene
Apunte cualquier SDK o framework al gateway con una línea. OpenAI, Anthropic, Gemini y DashScope se conectan de forma nativa; LangChain, LlamaIndex, CrewAI, Vercel AI SDK y más de 30 adicionales mediante el mismo cambio de base_url.
Apunte base_url al gateway
Por defecto https://your-gateway.gatellm.io; que incluya /v1 depende del SDK (cada ejemplo indica el valor exacto).
Cambie a una clave de acceso del gateway
No es una clave upstream sk-…; la misma clave de acceso se monta en la cabecera que espere su SDK.
Use el nombre del modelo del gateway
El que haya configurado en la consola, no el nombre oficial del proveedor.
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>SDK oficiales de proveedores
Los SDK de OpenAI / Anthropic / Google se conectan de forma nativa; solo cambia base_url
DashScope nativo
Texto, imagen, video asíncrono, embedding y rerank a través de un único endpoint
SDK y gateways unificados
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI
Frameworks de orquestación
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack
SDK de agentes
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra
Tiempo real y audio
Voz por WebSocket en tiempo real + ASR / TTS de openai_audio
Local / autoalojado
Ollama, vLLM, llama.cpp como upstreams: conserve cualquier SDK de cliente
Apunte cualquier agente de programación con IA al gateway
Ver todas las configuraciones de agentes de programación → ↗Llama a la API de Responses, no a Chat Completions. Si el upstream es openai (Chat), cambie explícitamente con OpenAIChatCompletionsModel; si es openai_response, un nombre de modelo como cadena funciona tal cual.
La clase OpenAI solo acepta familias que reconoce y rechaza nombres personalizados del gateway; use OpenAILike (Python) o declare la información del modelo explícitamente.
base_url no es un parámetro del framework: es la variable de entorno OPENAI_API_BASE, y el modelo necesita el prefijo openai/.
El SDK de OpenAI usa /v1; el SDK de Anthropic usa la raíz (añade /v1/messages); createAnthropic del Vercel AI SDK usa /v1 (añade /messages). Equivocarse añade o elimina un segmento de ruta.
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages)
# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"Normalización de capacidades: lo que hace posible combinar proveedores
La combinación de modelos entre proveedores se apoya en la capa de normalización de capacidades, que unifica siete puntos de acoplamiento para que cambiar de modelo nunca implique reescribir código de pegamento.
Normalización de llamadas a herramientas
OpenAI / Anthropic / Gemini / los modelos chinos tienen esquemas de llamada a herramientas distintos. Los unificamos en la base: escriba el código una vez y llame a todos los modelos.
Compatibilidad de salida estructurada
Cada proveedor usa protocolos distintos (esquema JSON estricto, json_mode, tool_use). Los unificamos en una interfaz coherente.
Unificación del almacenamiento en caché de prompts
cache_control de Anthropic, el almacenamiento automático de OpenAI y el contexto de Gemini usan mecanismos distintos. Ofrecemos una estrategia de caché unificada.
Adaptación de tokens de razonamiento
Los formatos de salida de o1 / Claude thinking / DeepSeek R1 difieren. Nos adaptamos al protocolo de tokens de razonamiento de cada proveedor.
Soporte de formatos multimodales
Los protocolos de visión, audio y carga de archivos difieren entre proveedores. Unificamos los formatos de entrada multimodal.
Abstracción del modelo de facturación
La estructura de precios de cada proveedor es distinta. La abstraemos en una interfaz unificada de seguimiento de costos.
Normalización de la semántica de errores
Los códigos y cuerpos de error de cada proveedor difieren. Los normalizamos en un cuerpo de error uniforme, con z-request-id correlacionando cada solicitud de extremo a extremo.
Flujo de datos: permanece on-prem, nunca se persiste
En modo BYOK, las claves de API se guardan solo en la memoria del gateway y nunca se persisten ni se transmiten. Las solicitudes pasan por el gateway directamente a las API oficiales de los proveedores; los datos nunca salen de su red privada.
¿Por qué ~1/7 del costo?
Tome una empresa que procesa mil millones de tokens al día: misma carga de trabajo, compare la factura de "primer nivel de extremo a extremo" frente a "primer nivel planifica, modelos abiertos ejecutan".
Claude Opus 5 planifica y ejecuta, todo de primer nivel
~90% de ejecución en SOTA abierto, un 10% clave de planificación en primer nivel
Tres fuentes de ahorro:
- 1.BYOK sin recargo por token: usted paga a los proveedores a tarifas estándar y GateLLM no se lleva comisión (los agregadores suelen añadir tarifas de plataforma y de pago sobre el precio de lista);
- 2.Composición: los modelos SOTA abiertos (GLM / Qwen / DeepSeek) asumen la mayor parte de la ejecución (clasificación, extracción, traducción), y los modelos cerrados de primer nivel (como Claude Opus) solo se usan para planificación y razonamiento difícil;
- 3.Caché de prompts: las llamadas frecuentes aciertan en caché y el precio unitario baja entre un 50% y un 90%.
Las cifras son modelos ilustrativos basados en precios públicos; el ahorro real depende de los escenarios de negocio y de las proporciones de mezcla. La licencia Pro de $400/mes (2 GB, instancia única) está incluida en el plan de GateLLM.
Uso que puede ver, costo que puede liquidar, presupuestos que puede sostener
Token Ops rastrea quién usa qué; Token FinOps convierte los tokens en dinero facturable y con límite. Un solo plano de control hace que el gasto en IA sea tan operable como el gasto en la nube.
Observabilidad de uso y costo
Desglose cada llamada por modelo, clave de acceso y grupo de claves, con los tokens de entrada, salida y acierto de caché medidos por separado con granularidad de 1 minuto.
- Agrupación por modelo / clave / grupo de claves
- Entrada, salida y acierto de caché medidos por separado
- Series temporales de 24 h / 7 d / 30 d / personalizadas
Admisión de clientes y pista de auditoría
Solo los clientes que usted ha aprobado llegan al gateway: permita, limite o deniegue por User-Agent. Cada llamada deja un registro auditable para la gobernanza de endpoints y la evidencia de cumplimiento.
- Control de acceso de clientes (política por User-Agent)
- Registros de llamadas con retención de logs (Pro y superiores)
- Integración de auditoría / DLP (Enterprise)
API de gestión (control programático)
EnterpriseGestione el gateway mediante API: cree y revoque claves de API, fije cuotas y presupuestos, consulte uso y costo y exporte registros de auditoría; conéctela a sus sistemas internos de operaciones y facturación.
- Creación y revocación programática de claves de API
- Cuotas y presupuestos mediante API
- API de consulta de uso y costo
- Exportación de registros de auditoría
Su propia tarifa y capturas de precios
Introduzca a mano el precio privado que negoció y pase a ser la referencia: las actualizaciones del sistema nunca lo sobrescriben. Cada precio tiene una ventana de vigencia: programe bajadas con antelación y las ediciones nunca reescriben el costo histórico.
- El precio privado fijado prevalece sobre el automático y nunca se sobrescribe
- Las capturas entran en vigor por ventana temporal
- Rellenar historial / programar bajadas de precio
- Modos de facturación por token, por llamada y por segundo
Asignación y refacturación por etiquetas
Etiquete claves y grupos de claves y agregue uso y costo por etiqueta para imputar el gasto en tokens al centro de costos correcto. La exportación a Excel divide el libro por modelo × clave para showback o chargeback interno.
- Etiquetas libres en claves y grupos de claves
- Agregación de uso y costo por etiqueta
- Exportación a Excel con 6 hojas (incluida clave × modelo)
- Listo para showback / chargeback interno
Cuotas y límites de costo
Fije topes de gasto diarios y mensuales por clave, evaluados de forma independiente por día y mes calendario UTC y bloqueados en el momento en que cualquiera se supere. Las cuotas se heredan de clave → grupo → global, tomando la más amplia entre grupos.
- Topes diarios y mensuales evaluados de forma independiente
- Herencia clave → grupo → global
- 429 quota_exceeded con Retry-After en el ciclo diario
GateLLM vs LiteLLM
Una comparación verificada con las fuentes. GateLLM ofrece por sí solo varios mecanismos que LiteLLM no tiene; ambos comparten una base asentada; algunas cosas difieren en naturaleza. Decida por las dos capas superiores, no por el ruido del marketing.
Solo GateLLM lo hace
Mecanismos que LiteLLM no tiene: el "cómo funciona" en una línea aparece bajo cada capacidad.
| Capacidad | GateLLM | LiteLLM |
|---|---|---|
| Cambio condicional de modeloReglas declarativas switch-route + detección integrada del modo de planificación + scripts context.useModel(): sin cambios en el cliente. LiteLLM necesita callbacks personalizados de Python. | Sí | No |
| Mezcla de modelos y SDK entre protocolosPuntos de entrada nativos cualquiera a cualquiera: llame a GPT desde el SDK de Anthropic o a DeepSeek desde el SDK de Gemini. LiteLLM está centrado en OpenAI; los caminos inversos pasan por capas de compatibilidad. | Sí | No |
| Confirmación de configuración en una sola transacciónPreparar → previsualizar el conjunto completo de conflictos → confirmación atómica; todo el lote se revierte ante cualquier conflicto. | Sí | No |
| Barrera dura de cuota de costoLos ciclos diario y mensual devuelven 429 quota_exceeded en el momento en que se supera el gasto. LiteLLM solo envía alertas de presupuesto. | Sí | No |
| Facturación tolerante a fallosPredescontar → liquidar → reembolsar con un libro de movimientos en curso: correcto incluso ante caídas del proceso. | Sí | No |
| Pool de claves upstream y fijación persistenteUn hash FNV-1a ponderado fija cada llamador a una clave y pasa a la siguiente clave no probada; las de peso 0 quedan en espera. | Sí | No |
| Tres modos de facturación + multidivisaPor token / por llamada / por duración, USD/CNY/EUR/JPY/GBP, dimensiones personalizadas. LiteLLM solo rastrea por tokens. | Sí | No |
| Inicio de sesión con SSO del upstreamDa de alta proveedores que no usan claves estáticas (por ejemplo, Kiro). LiteLLM solo acepta claves de API estáticas. | Sí | No |
| Registro de metadatos de capacidadesImpulsa la inyección y degradación automáticas; la deriva de capacidades de un modelo nuevo no requiere cambios de código. | Sí | No |
| Rama de versiones LTSRama N-1 + LTS (ver /lifecycle). LiteLLM solo mantiene las últimas 4 líneas menores. | Sí | No |
Ambos lo hacen bien
Una base asentada: cualquiera de los dos gateways cubre esta capa. La decisión está en las capas superiores e inferiores.
| Capacidad | GateLLM | LiteLLM |
|---|---|---|
| Enrutamiento de API · conmutación por error · balanceo de carga | Sí | Sí |
| BYOK, sin recargo por token | Sí | Sí |
| Totalmente autoalojado, los datos permanecen on-prem | Sí | Sí |
| Normalización de llamadas a herramientas entre proveedores | Sí | Sí |
| Normalización de salida estructurada (JSON Schema) | Sí | Sí |
| Adaptación de tokens de razonamiento y pensamiento | Sí | Sí |
| Caché de prompts entre modelos | Sí | Sí |
| Inyección de búsqueda web | Sí | Sí |
| Gateway MCP (agregación de herramientas) | Sí | Sí |
| Consola visual para la configuración | Sí | Sí |
| Registros de auditoría y medición de uso y costo | Sí | Sí |
Verificado con la documentación oficial de cada producto a fecha de 2026-09-04 (docs.litellm.ai / docs.gatellm.io). Algunas capacidades de LiteLLM requieren una licencia Enterprise; los detalles pueden cambiar: consulte las fuentes antes de comprar.
Los secretos y la PII se detectan a la entrada: usted decide qué ocurre después.
Un motor de reglas deterministas inspecciona cada solicitud al modelo en busca de formatos de credenciales y PII, y registra lo que encontró sin registrar el secreto en sí. Las reglas integradas vienen desactivadas y en modo de observación; usted las activa y elige registrar, enmascarar o bloquear por ámbito. Ningún modelo participa en la detección.
Detección determinista, sin modelos en la ruta
Determinista por construcción: primero sondas literales, luego reglas de expresiones regulares que exigen palabras de contexto y después validadores de suma de comprobación: Luhn para números de tarjeta, mod-97 para IBAN, la suma de comprobación del identificador nacional, bloques de claves privadas PEM y OpenSSH, e IPv4.
- Formatos de credenciales: claves de API de proveedores de modelos, claves de acceso a la nube, tokens de GitHub y GitLab, JWT, claves privadas PEM y OpenSSH, tokens de Slack
- Clases de PII: números móviles de China continental, identificadores nacionales de residencia, números de tarjetas bancarias, IBAN, direcciones de correo electrónico y direcciones IPv4
- Las conversaciones multiturno solo analizan lo nuevo: una cadena de hashes de cursor evita que una sesión larga vuelva a analizar texto que ya se había limpiado
Enmascaramiento que su cliente puede deshacer; bloqueo que no filtra nada
Con el modo enmascarar, el modelo upstream recibe marcadores numerados y su cliente recupera los valores reales, incluida la restauración por cada fotograma SSE durante el streaming. Con el modo bloquear, la negativa incluye la categoría de la regla y un id de solicitud, nunca el texto coincidente.
- El upstream ve marcadores; la parte que es dueña de los datos ve volver sus propios valores
- Los pegados largos no quedan exentos: las cadenas sobredimensionadas se vuelcan a disco y se analizan de nuevo en ventanas de tamaño fijo, de modo que la memoria permanece estable sea cual sea el tamaño de la carga
- La lista de permitidos coincide por valor, nunca por ruta: aprobar una clave de prueba no exime silenciosamente a todo un campo
Cuerpos de log: almacenados tal como se reciben, anonimizados en cada salida
La persistencia de registros de solicitudes está desactivada en la imagen de fábrica. Si la activa, los cuerpos se almacenan tal como se reciben y luego se anonimizan en cada superficie de salida: la API de la consola anonimiza por defecto, la salida SSE y de terminal siempre se anonimiza, y un fallo de anonimización cierra la respuesta en lugar de filtrarla.
- Revelar el contenido sin procesar es un acto explícito: rol de administrador más un indicador de revelación explícito, auditado y contabilizado
- La anonimización cubre claves sensibles del cuerpo, parámetros sensibles de consulta y URL, cabeceras de esquemas de autenticación estáticos y personalizados, y valores de token bearer con revelación parcial
- Un hallazgo conserva un fragmento enmascarado con contexto circundante limitado, nunca el texto coincidente; los hallazgos comparten la ventana de retención de logs, 7 días por defecto
Desactivado por defecto, a propósito
El paquete de reglas integrado viene desactivado y la acción de cada regla integrada es registrar. Es un despliegue seguro, no una carencia: observe qué habría ocurrido con su tráfico real, ajuste la lista de permitidos con sus propios falsos positivos y luego active enmascarar o bloquear donde importe. La política se aplica a nivel global, por grupo de claves de acceso o por clave de acceso, y las reglas se recargan en caliente.
- 1
registrarObservar. Los hallazgos aparecen en la consola con fragmentos enmascarados; la solicitud no se modifica.
- 2
enmascararAplicar de forma reversible. El upstream ve marcadores; su cliente sigue recibiendo el valor real.
- 3
bloquearRechazar. La solicitud se rechaza con la categoría de la regla y un id de solicitud, nunca con el texto coincidente.
Qué es y qué no es
Qué es
- Se ejecuta dentro del proceso de su propio gateway, en la ruta de la solicitud al modelo, con ámbito global / por grupo de claves de acceso / por clave de acceso
- Una página dedicada en la consola: vista de hallazgos para roles de administrador y monitor, vista de reglas para administradores, interruptor de activación con comprobación previa del presupuesto de memoria, recarga en caliente y entradas de auditoría
- Un endpoint de vista previa en seco, para probar una regla contra una muestra antes de activarla
- Cada hallazgo se rastrea hasta un nombre de regla, categoría, severidad, acción aplicada, número de coincidencias, modelo y nombre de la clave de acceso
Qué no es
- Sin detección en el contenido de las respuestas: el tramo de respuesta solo restaura marcadores
- Sin ML, sin detección de jailbreak o inyección de prompts y sin API de moderación: las reglas son deterministas
- Sin reauditoría sin conexión: el contenido que no se analizó en el momento de la solicitud no se analiza después
- No es una suite DLP: sin cobertura de endpoints, correo electrónico ni otros canales de salida
- Sin detectores de pasaporte, SSN, nombres o direcciones, y las carencias residuales conocidas están documentadas: las salidas de medios codificados en base64 se omiten y un marcador dividido entre dos fotogramas de flujo pasa sin modificar
Lo que realmente obtiene.
Las tres cosas que le importan a compras, resueltas antes del precio: un DPA que su equipo legal puede firmar, una factura que no se descontrola y prompts que nunca llegan a nosotros.
Un DPA que su equipo legal puede firmar
Listo para RGPD y CCPA, con un DPA que su equipo legal puede firmar de verdad. Autoalojado (los datos nunca salen de su perímetro), con SSO empresarial (OIDC / SAML 2.0) y aprovisionamiento SCIM 2.0 incluidos.
Una factura que no se descontrola
BYOK: pague a los proveedores a tarifas estándar, sin recargo por token ni tarifas por asiento. Los topes de cuota por clave y por proyecto impiden que un script desbocado se salga de su presupuesto.
Sus prompts nunca llegan a nosotros
Totalmente autoalojado: sus prompts y finalizaciones nunca entran en nuestros sistemas. Las claves BYOK viven solo en la memoria del gateway; las solicitudes van directas a las API de los proveedores y nunca salen de su red.
Totalmente autoalojado · Instancia única de 2 GB · Nunca recargamos tarifas por token
BYOK (traiga sus propias claves): usted paga a los proveedores a tarifas estándar. Licenciamos una instancia única de 2 GB, nunca por asientos ni con recargo por token. Más memoria o varias instancias se gestionan con Enterprise.
Incluido en todos los planes: BYOK sin recargo por token · enrutamiento a más de 100 proveedores · control de acceso de clientes · caché de prompts · cuotas de costo
Free
Totalmente autoalojado · Licencia única
Instancia única de 512 MB, sin retención de logs: adecuado para evaluación y pruebas de concepto, no para tráfico de producción.
- ✓Enrutamiento a más de 100 LLM · Conmutación por error · Balanceo de carga
- ✓Mezcla de modelos entre proveedores · degradación dentro del agente (planificación fija / degradación automática fuera de planificación)
- ✓Control de acceso de clientes (política por User-Agent)
- ✓Caché de prompts
- ✓BYOK (traiga sus propias claves, sin recargo)
- ✓Límite de memoria de 512 MB · SQLite · instancia única
- ✓Revisión de código en GitHub Actions a través de su propio gateway
- ✓Sin retención de logs
Pro
/ mes · instancia única de 2 GB (tope fijo) · prueba gratuita de 21 días
Tope fijo de 2 GB, sin complementos. Para varios nodos, cumplimiento (Audit/DLP) o la API de gestión, pase a Enterprise.
- ✓Todas las funciones de Free
- ✓Memoria de 2 GB · instancia única (tope fijo, sin complementos)
- ✓Retención de logs
- ✓SSO empresarial (OIDC: Azure AD / Okta / genérico, más SAML 2.0 + SCIM)
- ✓PostgreSQL · 2 GB de memoria
- ✓Soporte por correo electrónico o ticket
Reembolso del 100% dentro de los 30 días si no queda satisfecho
Enterprise
Por capacidad de memoria · Facturación anual · Reembolso de 30 días
- ✓Todas las funciones de Pro
- ✓Facturación por capacidad (nodos × memoria, $400/GB/mes fijo)
- ✓Despliegue multinodo / en clúster
- ✓Revisión de código en GitHub Actions a través de su propio gateway
- ✓Complemento para Microsoft 365 (Excel/Word/PPT/Outlook, complemento de pago)
- ✓Retención de logs ampliada
- ✓Respuesta de soporte prioritaria
- ✓Cumplimiento (Audit / DLP)
- ✓API de gestión (clave de API programática · cuotas · consulta de uso · exportación de auditoría)
¿Necesita más capacidad o una configuración personalizada? Contáctenos →
Comparación de funciones
| Capacidad | Free | Pro | Enterprise |
|---|---|---|---|
| Enrutamiento multimodelo · Conmutación por error · Balanceo de carga | ✓ | ✓ | ✓ |
| Mezcla de modelos entre proveedores (planificación/ejecución por proveedor) | ✓ | ✓ | ✓ |
| Degradación de modelo dentro del agente (planificación fija / degradación automática fuera de planificación) | ✓ | ✓ | ✓ |
| Caché de prompts | ✓ | ✓ | ✓ |
| BYOK (traiga sus propias claves, sin recargo) | ✓ | ✓ | ✓ |
| Nivel de memoria | 512 MB | 2 GB (fijo) | Personalizado |
| Almacenamiento / base de datos | SQLite (instancia única) | PostgreSQL · 2 GB | PostgreSQL + clúster de Redis |
| Escala de despliegue | 1 instancia | 1 instancia · 2 GB | Multinodo / clúster |
| Rendimiento por GB (referencia) | — | 2 GB ≈ 200 M TPM / 1000 RPM | ≈ 100 M TPM / 500 RPM por GB |
| Retención de logs | Ninguna | Retenidos | Retención ampliada |
| SSO (OIDC / SAML 2.0) | — | ✓ | ✓ |
| Aprovisionamiento automático SCIM 2.0 | — | ✓ | ✓ |
| Cumplimiento (Audit / DLP) | — | — | ✓ |
| API de gestión (clave programática · cuotas · uso · auditoría) | — | — | ✓ |
| Tarifa propia / capturas de precios (incluidos precios privados) | ✓ | ✓ | ✓ |
| Cuotas de costo (diarias / mensuales, herencia de tres niveles) | ✓ | ✓ | ✓ |
| Respuesta de soporte | Comunidad | Correo electrónico / ticket | Respuesta prioritaria |
| Política de modelos según el modo (planificar/ejecutar, aplicable) | ✓ | ✓ | ✓ |
| Control de acceso de clientes (política por User-Agent) | ✓ | ✓ | ✓ |
| Revisión de código en GitHub Actions (a través de su gateway) | ✓ | ✓ | ✓ |
| Complemento para Microsoft 365 (Excel/Word/PPT/Outlook, autoalojado) | — | Complemento | Complemento |
| Control por etiqueta de confidencialidad de Purview (addin.access / file.upload) | — | — | ✓ |