我在开发一个自动化测试平台，怎么证明我的自动化测试平台提效了呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1033 天前的主题，其中的信息可能已经有所发展或是发生改变。

我在开发一个自动化测试平台，怎么证明我的自动化测试平台提效了呢？并计算出我们提效了多少呢？如果我们看测试周期，可是即使周期变短了，也可能是他们熟练度提高，服务端质量提高了。那要怎么证明是我们平台做了提效呢？并能有量化的数据。

自动化

测试

平台

证明

23 条回复 • 2022-01-27 11:44:35 +08:00

chtcrack

2022-01-24 11:19:05 +08:00

那得老板懂得看代码,否则就是对牛弹琴,无任何意义.
现在有很多私人老板完全不懂程序代码,属于外行管内行,碰上这种,你就当你自己做贡献,别想那么多了,最多提一句,别指望不懂程序的老板懂这个.

dilu

2022-01-24 11:20:18 +08:00

1. bug 率例如以 1 个月为周期，用你的平台前 1 个月和后一个月 bug 率即总 bug 数 /(需求*人日)
2. 历史 case 回归时长占比，调研所有测试 case 中回归逻辑占比，时间同上
3. 同样的时间周期，测试时间占比整个项目立项周期看看是不是变短了

micean

2022-01-24 11:21:34 +08:00

熟练度再高也比不过机器啊
量化指标的话，综合测试用例总数和平均时间？

geeksammao

2022-01-24 11:25:54 +08:00

如果你是靠这个平台来作为业绩，那主要就是考验你的汇报、pr 能力了，即使是“他们熟练度提高”了你也要主动忽略掉再用话术包装成是你的平台的功劳。
因为效率这种东西很多时候就不是能特别量化清楚并归因的指标，只要东西能做到 70 、80 分，剩下的就靠宣传和包装了。

Renzo

2022-01-24 11:59:44 +08:00

感觉一个新的工具上线在短期内一定会让效率下降才对，长期才会让效率上升。还是着重于画饼汇报吧。。。

otakustay

2022-01-24 12:01:20 +08:00

我们有一个指标，需求开发完成（待测试）到最终上线的时长，自动测试化应该能很大程度上缩短这个时间，这个短绝对不是人靠熟练能做到的，不然自动化干啥

msg7086

2022-01-24 12:21:46 +08:00

主要就是 Story 完成时间和 Story 上线后的 bug 率。
有良好自动化测试覆盖的程序上线以后出 Bug 的概率应该会很小，而且不需要很多人工去手动测试和反馈。

jones2000

2022-01-24 13:25:00 +08:00

开源你的自动化测试平台，如果用的人多说明确实可以提效，如果没人用，基本就是再自嗨。

hackingwu

2022-01-24 14:08:18 +08:00

@Renzo 或者后续有哪些指标可以佐证。因为还需要采集数据。

hackingwu

2022-01-24 14:08:58 +08:00

@jones2000 公司内部平台，会有人用。但是用完提效如何，我们要有数据支撑的。

hackingwu

2022-01-24 14:09:32 +08:00

@msg7086 是，但是怎么证明是我们平台起了效果呢？

hackingwu

2022-01-24 14:10:36 +08:00

@geeksammao 老板想看数据，提质增效的数据证明。

hackingwu

2022-01-24 14:10:57 +08:00

@micean 平均时间指的是？

hackingwu

2022-01-24 14:12:14 +08:00

@dilu 好的，谢谢。

micean

2022-01-24 14:20:52 +08:00

@hackingwu

一个迭代里，测试的累计工时 /测试用例的数量

jones2000

2022-01-24 14:26:28 +08:00

@hackingwu 每天的常规测试，晚上编译最新版本自动跑完所有的 test case, 发测试报告。把每天的报告统计下就可以做很多报告了，
如开发人员代码质量，通过统计每天常规测试通过率。
如测试代码覆盖率，通过统计每天的测试代码覆盖率，可以知道测试部门测试用例是否可以跟上开发进度
.......
有用的东西都是要得罪人，如果没有相应的规章或（老板支持）基本是做不下去的。