研究概况
模型评估与威胁研究机构（Model Evaluation & Threat Research，METR）研究发现，使用生成式AI工具反而降低了资深开源开发者的工作效率，这与人们的普遍预期相反。
关键数据
这项随机对照试验邀请了16位资深开源贡献者参与，他们平均在各自项目中有5年的贡献经验，共完成了246个真实场景的任务。当开发者使用AI系统（如Claude 3.5/3.7 Sonnet和Cursor Pro）时，任务完成时间增加了19%。
预期与现实差异
开发者们最初预计AI辅助可以使工作效率提高24%，并在使用后认为速度提升了20%。然而，实际结果显示效果恰恰相反。
研究人员指出，这反映出AI在提升生产力方面的预期效果与实际效果存在巨大差异。经济学和机器学习领域的专家同样高估了AI的影响，预测效率会提升39%和38%。
效率降低原因分析
METR团队通过分析143小时的屏幕录像，发现效率降低主要有以下原因：
- AI输出的可靠性较低
- 难以适应复杂的代码库
- AI无法有效利用代码仓库上下文
使用情况分析
研究显示，开发者们花费了更多时间来审查AI建议并等待生成结果，而不是直接编码。虽然93%的参与者此前有使用大语言模型的经验，但只有44%的人在研究前使用过Cursor Pro。研究发现即使是Cursor的熟练用户也出现了效率降低的情况。
研究启示
METR提醒这些研究结果不应过度概括，AI在其他场景中可能仍然有用，特别是对于新手开发者或全新项目。该报告强调了在实际工作环境中谨慎评估AI工具的重要性，并警告不要仅仅依赖基准性能测试或个别成功案例。