SLATEMOTH / ANALYSE
Le routage des modèles dans les systèmes d'IA en production
Ce qu'est le routage des modèles, les signaux qui peuvent le guider et pourquoi il doit être distinct des contrôles de fiabilité et des politiques.
Définition
Le routage des modèles détermine où une requête d'IA doit être exécutée. Cette décision peut tenir compte des capacités, de la modalité, de la latence, de la disponibilité, des politiques, du prix et des exigences de la charge de travail.
Le routage n'est pas toute la passerelle
Le routage répond à la question du lieu d'exécution d'une requête. Les contrôles de fiabilité déterminent ce qui se passe en cas d'échec. Les politiques déterminent ce qui est autorisé. La mesure de l'utilisation indique ce qui s'est passé.
Les signaux qui peuvent compter
Les signaux utiles peuvent inclure la modalité demandée, la taille du contexte, les outils requis, l'état des fournisseurs, les contraintes régionales, les objectifs de latence et les limites économiques configurées.
Règles et sélection adaptative
Les politiques déterministes sont plus faciles à auditer. Une sélection adaptative peut améliorer les résultats lorsqu'elle dispose de retours fiables. Un système pragmatique peut d'abord appliquer des critères d'éligibilité déterministes.
Principe opérationnel
Une décision de routage doit pouvoir être expliquée après coup. Conservez suffisamment de contexte pour comprendre pourquoi un fournisseur ou un modèle a été choisi.