如何科学的衡量 copilot 这类编程助手对研发的提效水平？

[JkCola]

1 、大家都知道：开会评审、理解需求、追问补充细节也很占时间。
2 、大家也知道：技术方案制定、代码 review 、上线观察的工作耗时必不可少。
3 、大家也知道：向 copilot 描述需求内容、UI 细节等，额外增加了自己的沟通成本。
4 、大家还知道：很多业务需求是零散着改动多个已有的文件，充满了逻辑细节，而不是宣传 DEMO 里的从 0-1 搞个无业务逻辑的玩具出来。

但是，你如何科学的衡量 copilot 之类工具（包括最近火热的 cursor ），用 or 不用，对研发效率的影响是多少？
哪些结果指标和过程指标、怎么统计。而不是主观感觉提升了 x%。

[vsitebon]

代码行数直接统计 OR 完成任务时效统计

[JkCola]

@vsitebon 行数是 copilot 角度的效果指标，也就是说 copilot 能帮忙写出多少行可被提交的代码，非效率类指标。
完成任务的时效，充满了开会评审、需求细节沟通等干扰；包括需求的大小是不一样的，这个月偏大，下个月可能全是小需求，怎么做都快。

[ztm0929]

https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/

我没细看文章，不过应该可以做参考（辩证地看，作为商品，它一定会存在自夸的成份的）
如果有用请点个❤️没币了

[vsitebon]

@JkCola #2 对于工程师来说，大需求和小需求也可以量化的，举个例子，你写一个视图本来要用十天，结果现在你三天就解决了，这个就是明显的效率差异。对比历史同期的类似任务能算得出大概的数据

[JkCola]

@ztm0929 这文章内容确实不错，感谢推荐。