Publication date: 10 Oct 2024
IDC首发中国市场代码生成产品评估报告
Contact
For more information, contact:- Maggie Xie Email: mxie@idc.com Phone number: +86-10-6422 9568
- Frank Wang Email: fwang@idc.com Phone number: +86-10-5603 4087
- Yvonne Liu (yvliu) Email: yvliu@idc.com Phone number: +86-10-5082 5797
北京,2024年10月11日——国际数据公司(IDC)于近日发布了《中国市场代码生成产品评估, 1H24 》( Doc# CHC51598624 , 2024 年 10 月 ) ,报告分析了整体代码生成市场情况,对当前主流产品进行了多维度评估和实际测评,从C++和Java两种语言来评估AI产品的生成代码和注释准确率和可帮助性,旨在为企业选择产品时提供更好的参考。
IDC预测,到2030年,AI会累计为全球经济带来19.4万亿的经济收入,每在AI解决方案和服务上花费1美元,就可以产生4.6美元的经济收益,包括直接价值链收益和间接全生态影响。
代码生成产品作为生成式AI的主要服务形式之一,拥有巨大的发展空间和前景。IDC全球数据显示,82%的开发人员已经使用具有自动完成或智能代码生成功能的IDE或代码编辑器,其中71%的人表示他们编写的代码中有40%以上是自动生成的。另一项面向中国市场的调研数据显示,对于已经探索和应用GenAI的企业,其中有31%的人员已经使用了代码生成产品。
本次报告收录了CodeGeeX、豆包MarsCode、Q Developer、通义灵码、腾讯云AI代码助手、文心快码、小浣熊Raccoon、亚信图灵程序员共8个产品(按公司拼音首字母排序),并从产品能力水平(实测项)、功能丰富度、产品架构、开发者体验、商业化水平、工程化落地支持、生态布局、战略领先性维度进行评估,呈现不同产品的能力水平和优势。
实测结果如下所示:
从上述结果可以看出,各代码生成产品在C++和Java语言上已经具备了基本的问题解决能力,可以生成有效且可用的代码和注释,帮助开发人员提高效率。
但在实际测评过程中IDC发现产品仍有很大改进空间:
• 编程范式支持不足:各家均支持面向过程、对象的范式,但对于面向组件、服务、切面、函数、并发、泛型编程,头部支持更佳;
• 理解问题表面:部分任务仅停留在处理问题的表层描述,系统应根据用户输入识别目的,例如进行数据处理、构建算法、实现接口、性能优化,不仅生成任务框架本身,还需考虑安全性问题、状态管理;
• 可扩展性不足:生成的代码不仅是短期有效,还应具备可维护性和扩展性,遵循软件开发的设计模式、SOLID原则等最佳实践;
• 性能优化不足:在处理涉及大量数据、复杂计算或实时要求的场景时,系统生成的代码应考虑效率问题,选择高效的算法和数据结构,例如排序算法应考虑数据规模和场景,而不只是单纯返回通用的冒泡排序;
• 健壮性和容错能力不足:生成的代码应当能够处理意外情况、异常输入和潜在的错误,确保在各种场景下都能运行,自动生成异常处理逻辑;
• 安全考虑不足:生成的代码在处理涉及用户数据、身份认证、数据库查询等敏感信息时,系统还应当自动加入必要的安全性检查,防止潜在的安全漏洞,避免直接拼接用户输入;
从产品功能和整体技术架构来看,各厂商在支持语言、底层架构、数据管理上差异性更小,目前多从长文本、跨文件、并行计算等性能优化,以及工程化、生成时间、COT、Graph Computing方面进行重点布局。
根据用户需求和市场调研,IDC绘制了代码生成产品发展路线图,从产品底座支撑、产品核心能力、企业级开发能力、用户体验、服务生态等方面给出AI代码生成产品的重点布局方向,以供市场参考。
IDC给技术供应商的建议:
• 产品应该深入挖掘背后的业务逻辑,很多问题的解决不仅仅依赖生成符合语法规范的代码,还涉及如何高效的访问、处理数据、针对场景进行优化;
• 代码注释和文档也非常重要,帮助开发者理解思路和决策设计,特别是在复杂逻辑(如并发处理或异步操作)中,应详细说明各步骤的目的和流程;
• 在面对不同复杂度的问题时,应生成灵活的代码结构,如模块化、服务化的结构,确保考虑功能实现、性能优化、可扩展性;
• 生成内容要提供扩展性建议,考虑未来可能的扩展和优化;
• 在某些特定场景下,不应仅搭建简单的框架,例如还要考虑线程管理、锁机制、死锁避免等问题;
• 当涉及特定技术栈时,系统能识别并生成与该技术栈相匹配的最佳实践代码,而非通用代码结构;
IDC中国新兴科技研究组高级分析师李浩然表示,中国市场目前仍有较大培育和发展的空间,代码生成产品可以极大帮助企业提高开发效率、缩短产品更新周期。但企业也需要注意到,当前生成代码的采纳率普遍在20%-30%之间,近四分之三的开发人员(72%)表示,他们需要大幅修改超过40%的自动生成代码,这意味着大模型产品仍需持续提升准确度,并开发新的代码审核工具,来帮助企业审查和修订AI生成的内容,这也是产品从探索走向实际落地的关键。
IDC更多大数据、人工智能领域研究相关报告:
IDC PeerScape:生成式 AI 最佳实践案例与探索(IDC CHC51597724,即将发布)
Market Glance:生成式 AI 市场概览(IDC CHC51597624,即将发布)
Market Presentation:中国生成式 AI 技术进展与趋势,2024(IDC CHC51597427,即将发布)
如需进一步了解与此研究相关的信息或对其他相关项目研究感兴趣,请与IDC高级分析师李浩然(邮箱: leli @idc.com )联系。
-全文完-
欲了解IDC报告的更多信息,请访问www.idc.com.cn。欲购买报告,请致电+86-10-5889 1666与IDC中国销售部联系,或发 email 至 frankwang@idc.com 。
关于 IDC
国际数据公司(IDC )是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师,为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策,以实现关键业务目标。成立于1964 年,IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息,请登录www.idc.com.cn 。
- # # # -
相关咨询,请联系:
王勇,IDC中国 副总裁
电话:(+86-10) 5603 4087
谢静,IDC中国 市场部
电话:(+86-10) 6422 9568
邮箱: mxie@idc.com
扫描微信二维码,关注IDC 研究成果,掌握ICT市场脉搏