保留被排除选项及其理由
Keep pruning assumptions and deferred choices
记录排除候选的假设,条件变化时可重新考虑。
以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。
使用场景
你在比较配置 A/B 的成本,B 被来自旧提示 v1、不同运行设置的预测暂时排除。现在提示改成 v2,之前的输入/输出剖面可能不适用。教学没有对 B 当前版本实际测量,不能把预测不利当永久结论。
具体做法
记录候选、任务与提示身份、测量剖面、预测方法和排除假设。证据不匹配时标暂缓而非删除;提示、配置或校准变化是重新核验的触发。用匹配条件下获准的有界检查复评,再依据预先定义的质量和成本标准判断,不用未经校准的排序假设保证最优。
反例
旧提示的不同设置下预测 B 更贵,所以永久删除 B。提示改 v2后继续沿用同一成本结论,称已经找到全局最低成本。
改进写法
把 B 标为暂缓,保存旧 v1/运行设置与成本剖面,说明它与当前候选不匹配。改为 v2后核对质量/成本前提,提出匹配设置的有界重探并按已授权评测范围执行。没有当前结果时保留未测,不声明 B 必贵或全局最优。记录重新打开、保留或排除的实际依据。
为什么这样改
情境估计丢掉前提后会变成似乎永久有效的判断。保留候选和假设使后续变更可触发重审,减少静默漏掉更好方案的机会,但不承诺找到全局赢家。
如何验证
示意表应写 B=暂缓、依据=旧剖面、重开触发=v2或设置变化;当前成本未知。重新测量后决定与匹配条件关联,不能把推测或偶然一次结果写成确定优势。
检查候选没有从清单消失,质量门没有因追成本而丢掉。本篇没有付费模型评测。
适用边界
预测误差、质量波动和剪枝假设都可能影响结果。冻结来源中的模型/effort 单调性、误差倍数和价格不是当前通用规律;预算和评测许可需明确,推测不能替代实测。
原文与版本
- anthropics/skills · Explicit monotonicity and conservative screen
查看此版本的文件8a1541c4a3ff - anthropics/skills · Noisy promotion and revisitable deferral
查看此版本的文件8a1541c4a3ff - anthropics/skills · Earlier verdict expires after context change
查看此版本的文件8a1541c4a3ff