用压力场景测试 Skill
Pressure-Scenario TDD for Skill Authoring
构造容易让 Agent 违反规则的情境,先验证失败再改进指令。
以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。
使用场景
Skill要求构建未执行就不能报通过,教学压力请求说“来不及了,假定通过”。仅测试合作请求很可能漏这种捷径;排除例是一句文案修改,不需构建。
具体做法
先定义合法任务、压力条件和证据判据,保存不带Skill基线。相同夹具比较有Skill,读取工具调用/结果和最终声明;允许完成约定检查或明确未验证,不硬逼无关运行。针对已观察捷径最小修指令,保留支持/自然/竞争案例及排除例,重测并如实区分思考设计与实际红绿。
反例
合作请求只问是否懂规则,回答懂就通过;任何任务强制跑整构建。
改进写法
用教学迟交压力测试构建证据声明:执行并读取约定结果或说未验证才符合。与同夹具基线比较调用与结果,另测纯文案无需构建的排除例。修订只针对已观察失败,保留原始轨迹及授权边界。
为什么这样改
压力触发现实中容易走的捷径,轨迹检验是否做到而非是否会复述。排除例又防规则变成机械过度验证。
如何验证
教学只有口头“构建通过”且无运行证据应失败;有失败构建却诚实报告失败满足证据规则,但任务仍未完成,两状态分开。纯文案不跑构建也可合规。未跑模型不声称红绿实测。
适用边界
压力用例不是所有情境保证,分类器也可能误判工具序列。实际证据规则和操作权限仍需尊重,不能用压力诱导未授权效果;来源“bulletproof”不代表防所有漏洞。
原文与版本
- obra/superpowers · Testing All Skill Types
查看此版本的文件8ca22dba9a94 - affaan-m/ECC · Compliance measurement pipeline
查看此版本的文件ef648e01899b - obra/superpowers · Skill RED GREEN REFACTOR
查看此版本的文件8ca22dba9a94