SLATEMOTH / ARTÍCULO
Enrutamiento de modelos en sistemas de IA en producción
Qué es el enrutamiento de modelos, qué señales pueden guiarlo y por qué debe separarse de los controles de fiabilidad y de políticas.
Definición
El enrutamiento de modelos decide dónde debe ejecutarse una solicitud de IA. La decisión puede considerar las capacidades, la modalidad, la latencia, la disponibilidad, las políticas, el precio y los requisitos de la carga de trabajo.
El enrutamiento no es toda la pasarela
El enrutamiento responde a dónde debe ir una solicitud. Los controles de fiabilidad responden a qué ocurre si falla la ejecución. Los controles de políticas determinan qué está permitido. La medición del uso registra lo que ocurrió.
Señales que pueden importar
Entre las señales útiles pueden figurar la modalidad solicitada, el tamaño del contexto, los requisitos de herramientas, el estado de los proveedores, las restricciones regionales, los objetivos de latencia y los límites económicos configurados.
Reglas y selección adaptativa
Las políticas deterministas son más fáciles de auditar. La selección adaptativa puede mejorar los resultados cuando existe información fiable para evaluarla. Un sistema práctico puede aplicar primero criterios deterministas de elegibilidad.
Principio operativo
Una decisión de enrutamiento debe poder explicarse posteriormente. Conserva suficiente contexto de la decisión para entender por qué se eligió un proveedor o modelo.