Press FAQ

Publication date: 10 Oct 2024

IDC首发中国市场代码生成产品评估报告

Contact

For more information, contact:

北京,2024年10月11日——国际数据公司(IDC)于近日发布了《中国市场代码生成产品评估, 1H24 》( Doc# CHC51598624 , 2024 年 10 月 ) ,报告分析了整体代码生成市场情况,对当前主流产品进行了多维度评估和实际测评,从C++和Java两种语言来评估AI产品的生成代码和注释准确率和可帮助性,旨在为企业选择产品时提供更好的参考。

IDC预测,到2030年,AI会累计为全球经济带来19.4万亿的经济收入,每在AI解决方案和服务上花费1美元,就可以产生4.6美元的经济收益,包括直接价值链收益和间接全生态影响。

代码生成产品作为生成式AI的主要服务形式之一,拥有巨大的发展空间和前景。IDC全球数据显示,82%的开发人员已经使用具有自动完成或智能代码生成功能的IDE或代码编辑器,其中71%的人表示他们编写的代码中有40%以上是自动生成的。另一项面向中国市场的调研数据显示,对于已经探索和应用GenAI的企业,其中有31%的人员已经使用了代码生成产品。

本次报告收录了CodeGeeX、豆包MarsCode、Q Developer、通义灵码、腾讯云AI代码助手、文心快码、小浣熊Raccoon、亚信图灵程序员共8个产品(按公司拼音首字母排序),并从产品能力水平(实测项)、功能丰富度、产品架构、开发者体验、商业化水平、工程化落地支持、生态布局、战略领先性维度进行评估,呈现不同产品的能力水平和优势。

实测结果如下所示:

A graph showing different colored bars

Description automatically generated with medium confidence

A graph showing different colored bars Description automatically generated with medium confidence
A graph showing different colored bars

Description automatically generated with medium confidence
A graph showing different colored bars Description automatically generated with medium confidence
A diagram of different colored squares

Description automatically generated with medium confidence
A diagram of different colored squares Description automatically generated with medium confidence

从上述结果可以看出,各代码生成产品在C++和Java语言上已经具备了基本的问题解决能力,可以生成有效且可用的代码和注释,帮助开发人员提高效率。

但在实际测评过程中IDC发现产品仍有很大改进空间:

编程范式支持不足:各家均支持面向过程、对象的范式,但对于面向组件、服务、切面、函数、并发、泛型编程,头部支持更佳;

理解问题表面:部分任务仅停留在处理问题的表层描述,系统应根据用户输入识别目的,例如进行数据处理、构建算法、实现接口、性能优化,不仅生成任务框架本身,还需考虑安全性问题、状态管理;

可扩展性不足:生成的代码不仅是短期有效,还应具备可维护性和扩展性,遵循软件开发的设计模式、SOLID原则等最佳实践;

性能优化不足:在处理涉及大量数据、复杂计算或实时要求的场景时,系统生成的代码应考虑效率问题,选择高效的算法和数据结构,例如排序算法应考虑数据规模和场景,而不只是单纯返回通用的冒泡排序;

健壮性和容错能力不足:生成的代码应当能够处理意外情况、异常输入和潜在的错误,确保在各种场景下都能运行,自动生成异常处理逻辑;

安全考虑不足:生成的代码在处理涉及用户数据、身份认证、数据库查询等敏感信息时,系统还应当自动加入必要的安全性检查,防止潜在的安全漏洞,避免直接拼接用户输入;

从产品功能和整体技术架构来看,各厂商在支持语言、底层架构、数据管理上差异性更小,目前多从长文本、跨文件、并行计算等性能优化,以及工程化、生成时间、COT、Graph Computing方面进行重点布局。

根据用户需求和市场调研,IDC绘制了代码生成产品发展路线图,从产品底座支撑、产品核心能力、企业级开发能力、用户体验、服务生态等方面给出AI代码生成产品的重点布局方向,以供市场参考。

A screen shot of a computer

Description automatically generated

A screen shot of a computer Description automatically generated

IDC给技术供应商的建议:

• 产品应该深入挖掘背后的业务逻辑,很多问题的解决不仅仅依赖生成符合语法规范的代码,还涉及如何高效的访问、处理数据、针对场景进行优化;

• 代码注释和文档也非常重要,帮助开发者理解思路和决策设计,特别是在复杂逻辑(如并发处理或异步操作)中,应详细说明各步骤的目的和流程;

• 在面对不同复杂度的问题时,应生成灵活的代码结构,如模块化、服务化的结构,确保考虑功能实现、性能优化、可扩展性;

• 生成内容要提供扩展性建议,考虑未来可能的扩展和优化;

• 在某些特定场景下,不应仅搭建简单的框架,例如还要考虑线程管理、锁机制、死锁避免等问题;

• 当涉及特定技术栈时,系统能识别并生成与该技术栈相匹配的最佳实践代码,而非通用代码结构;

IDC中国新兴科技研究组高级分析师李浩然表示,中国市场目前仍有较大培育和发展的空间,代码生成产品可以极大帮助企业提高开发效率、缩短产品更新周期。但企业也需要注意到,当前生成代码的采纳率普遍在20%-30%之间,近四分之三的开发人员(72%)表示,他们需要大幅修改超过40%的自动生成代码,这意味着大模型产品仍需持续提升准确度,并开发新的代码审核工具,来帮助企业审查和修订AI生成的内容,这也是产品从探索走向实际落地的关键。

IDC更多大数据、人工智能领域研究相关报告:

IDC PeerScape:生成式 AI 最佳实践案例与探索(IDC CHC51597724,即将发布)

Market Glance:生成式 AI 市场概览(IDC CHC51597624,即将发布)

Market Presentation:中国生成式 AI 技术进展与趋势,2024(IDC CHC51597427,即将发布)

如需进一步了解与此研究相关的信息或对其他相关项目研究感兴趣,请与IDC高级分析师李浩然(邮箱: leli @idc.com )联系。

-全文完-

欲了解IDC报告的更多信息,请访问www.idc.com.cn。欲购买报告,请致电+86-10-5889 1666与IDC中国销售部联系,或发 email 至 frankwang@idc.com

关于 IDC

国际数据公司(IDC )是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师,为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策,以实现关键业务目标。成立于1964 年,IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息,请登录www.idc.com.cn



- # # # -



相关咨询,请联系:

王勇,IDC中国 副总裁

电话:(+86-10) 5603 4087

电邮:frankwang@idc.com



谢静,IDC中国 市场部

电话:(+86-10) 6422 9568

邮箱: mxie@idc.com



扫描微信二维码,关注IDC 研究成果,掌握ICT市场脉搏

Qr code

Description automatically generated

Qr code Description automatically generated



Coverage