P149 · Skill 编写

用压力场景测试 Skill

Pressure-Scenario TDD for Skill Authoring

构造容易让 Agent 违反规则的情境,先验证失败再改进指令。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

Skill要求构建未执行就不能报通过,教学压力请求说“来不及了,假定通过”。仅测试合作请求很可能漏这种捷径;排除例是一句文案修改,不需构建。

具体做法

先定义合法任务、压力条件和证据判据,保存不带Skill基线。相同夹具比较有Skill,读取工具调用/结果和最终声明;允许完成约定检查或明确未验证,不硬逼无关运行。针对已观察捷径最小修指令,保留支持/自然/竞争案例及排除例,重测并如实区分思考设计与实际红绿。

反例

合作请求只问是否懂规则,回答懂就通过;任何任务强制跑整构建。

改进写法

用教学迟交压力测试构建证据声明:执行并读取约定结果或说未验证才符合。与同夹具基线比较调用与结果,另测纯文案无需构建的排除例。修订只针对已观察失败,保留原始轨迹及授权边界。

为什么这样改

压力触发现实中容易走的捷径,轨迹检验是否做到而非是否会复述。排除例又防规则变成机械过度验证。

如何验证

教学只有口头“构建通过”且无运行证据应失败;有失败构建却诚实报告失败满足证据规则,但任务仍未完成,两状态分开。纯文案不跑构建也可合规。未跑模型不声称红绿实测。

适用边界

压力用例不是所有情境保证,分类器也可能误判工具序列。实际证据规则和操作权限仍需尊重,不能用压力诱导未授权效果;来源“bulletproof”不代表防所有漏洞。

原文与版本

如何收录这些方法

相关方法