当您不能准确地度量软件测试项目的成本、有效性和进度时会发生什么?很多不理想的东西。项目可能成本膨胀,范围扩大,质量下降,或者似乎永远持续下去。如果每个QA项目都没有定义的指标,它们可能会失控——而这种情况对产品公司及其团队、测试提供商及其工程师来说都是一场噩梦。QA服务提供商使用各种不同的测试指标来保持项目的进展,并在交付给客户之前保持最佳状态。以下是我们在QASource使用的几个指标:
每月QA回归总结
该指标每月显示已验证和已关闭缺陷以及任何重新打开缺陷的趋势。
这个指标揭示了什么?如果重新打开的缺陷数量持续增加超过四分之一,则可能是由于以下一种或几种原因造成的:
- QA团队使用一个缺陷跟踪多个问题,或者在同一缺陷中进行回归时报告新问题。
- 在交付给QA团队之前,开发团队没有进行默认的抽查。
- 现场团队和海上QA团队之间缺乏沟通。
每月缺陷报告汇总表
顾名思义,月度缺陷报告摘要显示了QA团队每个月报告的有效缺陷数量。
它还显示了重复缺陷、无效缺陷和QA工程师无法再现的缺陷的趋势。如果这一数字在整个月持续上升,可归因于:
- 缺乏QA团队中的产品或领域知识,或报告的缺陷缺乏详细信息
- 项目测试要求的频繁变化
- 开发或质量保证团队使用的硬件或软件配置发生变化
- 现场和非现场团队之间缺乏沟通
自动化覆盖
此度量有助于显示自动化覆盖通过监视总的测试用例。它还显示了特定模块的待定测试。总自动化测试用例计数中的任何偏差可归因于:
- 受影响模块测试系统的不稳定性
- 受影响模块或功能的过时
- 受影响模块中的频繁更改,导致创建新的自动化脚本并阻止实际测试执行
这个度量是有帮助的,因为它可以帮助管理人员想出一个更清晰的行动计划,来处理模块中未完成的测试用例,而自动化覆盖率更低。
月自动化速度
这度量了新自动化测试用例的数量,以及新自动化脚本的交付和资源分配。自动化脚本交付中的偏差可能意味着:
- 测试系统是不稳定的
- 自动化脚本不断更新,以适应不断变化的需求
- 缺陷修复时间很长,这意味着相同的缺陷会重新打开
- 发布即将到来,自动化团队已经转移到功能测试任务