Decida qué clientes pueden llegar a sus modelos
Reglas de acceso por cabecera de solicitud que permiten o deniegan según User-Agent, origen o cualquier cabecera, con ámbito global, de grupo de claves o de una sola clave.
De qué se queja realmente la comunidad
"Una clave filtrada significa que cualquiera que la tenga puede quemar nuestra cuota", "queremos permitir los agentes de programación de toda la empresa, pero bloquear curl sin más y los scrapers", "la consola del proveedor tiene una lista de IP permitidas, pero nuestro tráfico es dinámico y pasa por proxies, así que nunca encaja".
La aplicación tiene que ocurrir donde llega la solicitud, en el gateway, no en un ajuste del lado del cliente que un desarrollador puede desactivar.
Cómo lo hace GateLLM
GateLLM evalúa reglas de admisión en cada solicitud contra las cabeceras HTTP: seis tipos de coincidencia (exacta / prefijo / regex / existe / ausente / cualquiera) y tres ámbitos (global / grupo de claves / clave), ordenados por sort_order y con gana la primera coincidencia.
Para "solo clientes aprobados" use el modo de lista de permitidos: configure la acción predeterminada del grupo en denegar y añada una única regla de permitir que coincida con la firma del cliente; todo lo demás se rechaza antes de llegar a un modelo.
5 palancas que realmente funcionan
- 6 tipos de coincidencia: exacta / prefijo / regex / existe / ausente / cualquiera; una regla puede expresar "A o B o C" mediante alternancia de regex
- 3 ámbitos: global, por grupo de claves y por clave, con gana la primera coincidencia y prioridad global del mismo orden
- Modo de lista de permitidos: denegar por defecto + una permiso explícito; los clientes nuevos desconocidos se rechazan por defecto
- Las reglas también cubren las rutas de lista de modelos (/v1/models), así que un cliente denegado queda bloqueado de extremo a extremo
- Motor de regex de tiempo lineal seguro frente a ReDoS: los patrones patológicos se rechazan en tiempo de carga, no en tiempo de solicitud