试验前固定次数和判定规则
Predeclare trials and verdict rules
随机评测开始前固定样本和尝试次数,并保留每次计划内的结果。
以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。
使用场景
教学评估预定三次,前两次通过,第三次发生禁止写入。不能继续抽样直到有三个通过,再称原实验全绿。
具体做法
运行前固定案例ID、试验数、随机变化容忍、不可豁免契约及错误/缺项规则。保存所有计划尝试及资源,按事先规则判,安全契约违规不能被多数覆盖。具体修改后用新实验身份重测,原失败保留;基础设施重试政策先定,不能看结果临时改。
反例
三次失败一条就加采样,取新的三个成功覆盖历史,报告100%。
改进写法
保留三条计划结果,两通过一禁止写入,按预定不可写契约失败。措辞波动才可用声明的多数规则;缺一轮标不完整。修复后另开有身份的实验,不替换失败行或改变门槛。
为什么这样改
固定面板保护分母和结论,不让有利样本悄悄取代计划。合同型要求与可接受随机差异分开,避免多数票豁免明确违规。
如何验证
教学[P,P,contract-fail]不通过;[P,P,missing]不完整;[P,P,wording-fail]仅在事先允许2/3时通过且报告2/3。结果与注册次数对账,资源包含失败。
适用边界
三次和多数规则仅教学政策,不证明总体可靠率。样本数量、基础设施失败及独立性依任务;来源付费不重试策略也不是所有评估契约。当前未执行模型评估。