V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JkCola
V2EX  ›  GitHub Copilot

如何科学的衡量 copilot 这类编程助手对研发的提效水平?

  •  
  •   JkCola ·
    JkCola · 57 天前 · 1030 次点击
    这是一个创建于 57 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1 、大家都知道:开会评审、理解需求、追问补充细节也很占时间。
    2 、大家也知道:技术方案制定、代码 review 、上线观察的工作耗时必不可少。
    3 、大家也知道:向 copilot 描述需求内容、UI 细节等,额外增加了自己的沟通成本。
    4 、大家还知道:很多业务需求是零散着改动多个已有的文件,充满了逻辑细节,而不是宣传 DEMO 里的从 0-1 搞个无业务逻辑的玩具出来。

    但是,你如何科学的衡量 copilot 之类工具(包括最近火热的 cursor ),用 or 不用,对研发效率的影响是多少?
    哪些结果指标和过程指标、怎么统计。而不是主观感觉提升了 x%。
    5 条回复    2024-10-11 20:10:30 +08:00
    vsitebon
        1
    vsitebon  
       57 天前
    代码行数直接统计 OR 完成任务时效统计
    JkCola
        2
    JkCola  
    OP
       57 天前
    @vsitebon 行数是 copilot 角度的效果指标,也就是说 copilot 能帮忙写出多少行可被提交的代码,非效率类指标。
    完成任务的时效,充满了开会评审、需求细节沟通等干扰;包括需求的大小是不一样的,这个月偏大,下个月可能全是小需求,怎么做都快。
    ztm0929
        3
    ztm0929  
       57 天前 via iPhone   ❤️ 2
    https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/

    我没细看文章,不过应该可以做参考(辩证地看,作为商品,它一定会存在自夸的成份的)
    如果有用请点个❤️没币了
    vsitebon
        4
    vsitebon  
       56 天前
    @JkCola #2 对于工程师来说,大需求和小需求也可以量化的,举个例子,你写一个视图本来要用十天,结果现在你三天就解决了,这个就是明显的效率差异。对比历史同期的类似任务能算得出大概的数据
    JkCola
        5
    JkCola  
    OP
       56 天前
    @ztm0929 这文章内容确实不错,感谢推荐。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   994 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:28 · PVG 06:28 · LAX 14:28 · JFK 17:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.