P380 · 测试与评估

只比较覆盖范围一致的趋势

Comparable-coverage trend reporting

检查范围和测量条件可比时,才把结果作为趋势比较。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

昨日仪表盘6分覆盖test+lint,今天9分只测test。总分改变可能来自省掉失败lint,而非代码质量提高。

具体做法

记录每轮运行、未运行及不可用项,连同工具/样本/阈值/权重和环境。仅同覆盖与定义的综合分直接比较;不同覆盖展示历史但标不可比,并比较仍满足条件的单项。N/A无趋势,未知不补零;重复分数来源需可核,不用项目自定分当通用质量尺度。

反例

写昨日6、今日9所以提高3分,不提lint没跑或阈值改过。

改进写法

先比较两轮检查集合与测量定义。今天缺lint,综合分标coverage_changed而不称提高;展示可比test结果及lint未运行原因。条件恢复一致后再做趋势,保留每轮真实范围。

为什么这样改

省略困难项会改变分母和权重,可能制造漂亮总分。覆盖与条件对照保护趋势含义,也让未测项不被成功掩盖。

如何验证

教学6→9但集合{test,lint}→{test}不作综合增益。若同名test从10例变2例也需判范围变化;只有集合、样本和规则一致才计算适用差值。旧记录照留,缺项明确。

适用边界

同名检查仍可能不同版本或负载,不能只比标签。局部权重不保证质量效度;生产与历史时间变化也会影响可比性。不可比不等于代码没改善,只表示这组总分不能证明。

原文与版本

如何收录这些方法