SLATEMOTH / СТАТЬЯ
Маршрутизация моделей в промышленных AI-системах
Что такое маршрутизация моделей, какие сигналы могут на неё влиять и почему её следует отделять от механизмов надёжности и политик.
Определение
Маршрутизация моделей определяет, где должен выполняться AI-запрос. При выборе можно учитывать возможности модели, модальность, задержку, доступность, политику, цену и требования нагрузки.
Маршрутизация — не весь шлюз
Маршрутизация отвечает на вопрос, куда направить запрос. Механизмы надёжности — что делать при сбое выполнения. Политики — что разрешено. Учёт использования — что произошло.
Важные сигналы
Полезными сигналами могут быть запрашиваемая модальность, размер контекста, потребность в инструментах, состояние поставщика, региональные ограничения, целевая задержка и заданные экономические пределы.
Правила и адаптивный выбор
Детерминированные политики проще проверять. Адаптивный выбор может улучшать результат при наличии надёжной обратной связи. Практичная система может сначала использовать детерминированные правила допустимости.
Принцип эксплуатации
Решение о маршрутизации должно быть объяснимым задним числом. Сохраняйте достаточно данных о принятом решении, чтобы понять, почему был выбран поставщик или модель.