Glosario

Unifica los siete puntos de acoplamiento entre proveedores (llamadas a herramientas, salida estructurada, caché de prompts, tokens de razonamiento, multimodal, facturación y semántica de errores) tras una sola interfaz. Es el requisito previo para mezclar modelos entre proveedores; de lo contrario, cada modelo tiene su propia convención de llamada y cada cambio exige código de pegamento.

Enrutar distintas fases de una solicitud a distintos modelos en el gateway: mapeo de modelos por identidad más cambio por modo de planificación. El patrón canónico: un modelo cerrado de primer nivel (por ejemplo, Claude Opus) planifica mientras los modelos SOTA abiertos (GLM / Qwen / DeepSeek) ejecutan: ~14% del costo por ~97% de la capacidad. Se configura en la consola (reglas y scripts), sin cambios en el código del cliente.

Un patrón de la capa de orquestación: ejecutar el mismo prompt en varios modelos en paralelo y fusionar los resultados. La distribución, la deduplicación y la anotación de confianza viven en su capa de orquestación (por ejemplo, GitHub Actions); el gateway aporta la interoperabilidad de protocolos y la medición unificada, de modo que cualquier modelo se suma y todo el tráfico permanece gobernado de forma central. Adecuado para llamadas de alto riesgo como la revisión de código. La variante que ofrecemos de este patrón es la revisión de código multimodelo (ver la sección de orquestación).

La capa operativa del lado del uso para las API de LLM: observabilidad, admisión de clientes, pistas de auditoría y gestión programática. Responde a "quién usa qué, cuánto y si puede entrar"; Token FinOps (su contrapartida) responde a "cómo se convierten los tokens en dinero, a quién se le cobra y qué lo detiene". GateLLM las integra en el gateway, nunca con un recargo por token.

La capa de control financiero que aplica la visibilidad, la asignación y la gobernanza de FinOps al gasto en tokens: una tarifa propia convierte los tokens en dinero, las etiquetas imputan el gasto al centro de costos correcto y las cuotas diarias y mensuales convierten los presupuestos en barreras que bloquean solicitudes. Complementa a Token Ops: la primera ve el uso, esta ve el dinero.

Usted aporta sus propias claves de API de los proveedores de modelos. Las claves viven solo en la memoria del gateway y nunca se persisten ni se transmiten; las solicitudes pasan por el gateway directamente a las API de los proveedores. GateLLM no se lleva comisión.