SLATEMOTH / 观点
生产级 AI 系统中的模型路由
什么是模型路由、哪些信号可以指导路由决策，以及为何应将路由与可靠性和策略控制分开。
定义
模型路由决定一项 AI 请求应在哪里执行。决策可以考虑能力、模态、延迟、可用性、策略、价格和工作负载要求。
路由不等于整个网关
路由回答“请求应发往何处”；可靠性控制回答“执行失败后怎么办”；策略控制回答“允许做什么”；计量回答“实际发生了什么”。
可能有用的信号
相关信号包括请求的模态、上下文长度、工具需求、供应商健康状况、地域限制、延迟目标，以及已配置的成本上限。
规则与自适应选择
确定性策略更易审计。有可靠反馈时，自适应选择可能改善结果。实用的系统可以先用确定性规则筛选符合条件的选项。
运维原则
路由决策应当事后可解释。保留足够的决策上下文，以便理解为何选择某个供应商或模型。