SLATEMOTH / 决策模型
Clef 与 Jev:输出概率之后,谁来决定行动?
Cloudflare Clef 让类型化决策模型进入更多工作流。采用它的关键是定义选项、在真实业务中校准,以及把判断与行动授权分开。
决策可以有更小的接口
先定义问题,再衡量答案
假设客服团队把请求分到支付、技术与销售队列。一条由系统故障引起的扣费投诉,可能同时符合前两个类别。响应格式再整齐,也修复不了分类定义重叠。换模型前,应先说清这个问题要判断的是根因、负责解决的团队,还是下一步处理动作。
在选择题中,Clef 的公开接口为给定选项评分。如果新案例不符合任何选项,挑最高分仍然只是在这个集合里挑。加入“转人工”或“未知”选项可能有帮助,但它也需要验证。这是策略设计,不是自动识别所有分布外输入的保证。 [2]
置信度数字不是业务成功率
接口兼容,阈值仍需重新验证
分类与授权,是两个步骤
把工单送到一个队列,与批准退款不是同一件事。对内容团队,识别一个可能合适的选题,与把文章发布到品牌账户也不是同一件事。模型答案可以帮助制定行动策略,却不能提供策略中缺失的权限、预算或证据。
这并不意味着每一次分类都必须由人审批。代价小、可撤销的标签,在适当评测与纠错路径下可以自动处理。后果昂贵的动作则需要更严格的准入或审阅。监督力度应当与后果相称,不能处处加人工关卡,也不能因为输出有类型就撤掉关卡。
测试模型周围的行动策略
从有代表性的案例与清楚的参考决策开始。保留一组没有用于选择问题结构或阈值的评测数据,加入模糊案例、证据不足案例,以及错误放行代价特别高的案例。除了转交人工的比例,也要看整套行动策略具体做错了什么。
可以先做影子测试:新模型与现有流程并行比较,但不执行它建议的动作。记录输入和问题结构的版本、模型、分数与最终结果。分歧可能来自分类错误,也可能来自业务规则变化或输入缺失。解释清楚后,才知道应该换模型、调阈值,还是修工作流。
最有力的反对意见是实施成本:不是每一个小标签都值得大型评测项目。范围窄、可撤销的任务,可以先做适度比较并建立清晰的纠错机制。必要的是投入与后果相称、剩余不确定性有记录,而非团队无力持续维护的一套庞大榜单。
专用模型,让周围的决策更清楚
决策模型指向一种分工:分类组件处理有限选项,生成组件解释或起草,策略组件决定是否允许行动。这是值得探索的系统设计方向,不是某种架构将取代通用模型与复杂规划的证明。
开放模型与熟悉接口降低了试验门槛,也让采购问题更具体:要替换哪一个组件,哪些可观察行为必须保持?能够拿到权重有价值,但托管、版本管理与真实业务评测仍需要投入。
考虑 Clef 的团队,第一个里程碑应当是定义清楚的判断,在自己的案例上表现可接受;第二个才是能处理错误与不确定性的行动策略。快速、类型化的答案,只有在组织理解它的含义及允许触发的动作时,才能变成实用的智能。