P245 · 测试与评估

反向路由测试也要去往正确 Skill

Owned negative routing controls

测试“不该调用这个 Skill”时,还要确认请求被交给合适的替代者。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

测试“写一个回归测试”是否误触评审Skill。教学候选为code-review和test-driven-development;评审得0且所有候选都0,不能证明请求被正确路由。

具体做法

为负例声明正确所有者并确认存在。检查目标错误Skill未获有效首位,同时要求正确Skill有非零匹配且排名高于它;记录完整分数和同分规则。增加正确所有者正例与相邻模糊例,区分词汇运行器判断与真实宿主调用。规则通过后仍需行为路由验证。

反例

只要评审Skill在“写回归测试”得0就通过,即使测试Skill也0且无人负责。

改进写法

对这条负例指定test-driven-development为所有者。要求它非零且高于code-review;所有候选零分、所有者缺失或错误候选有效首位均失败。保存排名并标词汇近似,实际宿主触发另测。

为什么这样改

负例应检验正确归属,不只是避开某候选。所有者要求消除无人匹配的空通过,能暴露过窄描述或语料缺失。

如何验证

教学review=0、test=0应失败;review=0、test=2且test在前满足词汇契约。所有者名字拼错属于配置错误。真实宿主若仍调用review,不能用词汇通过掩盖行为差异。

适用边界

词汇分数不是调用概率,也不能证明宿主选择。排名同分、多个有效所有者和拒绝处理需明确契约;模型、描述和可用技能变化会改变结果。例分数是教学值。

原文与版本

如何收录这些方法