北京，2025年01月17日——人工智能概念的提出至今已有数十年的时间，一直到随着网络技术特别是互联网技术的发展，人工智能技术才走上了快车道，大数据、云计算、互联网、物联网技术又推动了以深度神经网络为代表的如图像识别、语音识别、无人驾驶等人工智能技术从无到有的突破。继ChatGPT之后，大模型如雨后春笋般出现，无论是开源还是闭源大模型，通用亦或是垂域大模型，都为生成式人工智能技术的落地实践带来了巨大的推动力。
从安全视角出发，无论是何种使用场景，大模型或GenAI的使用都为最终用户带来新的安全风险，例如在模型训练过程中大量的高质量数据需要被集中在一起，数据泄露风险会陡然加大；恶意的指令攻击不成熟的训练模型会生成有偏见的输出；GenAI可以结合公共数据或无价值数据创建生成敏感数据，需要更完善的安全防护措施；新的安全风险会给合规人员带来更多的工作，加重企业合规压力等等都是最终用户在计划或开始实施GenAI部署计划时必将面临的问题。
2023年，国家网信办联合多部委公布实施的《生成式人工智能服务管理暂行办法》，确立了生成式人工智能服务的管理框架和监管原则，清晰界定了服务提供者的责任以及用户的权利。如今，越来越多的网络安全公司和大模型公司将关注重点放在大模型或GenAI工具的安全能力检测以及安全防护的方向上，推出了一系列的针对大模型或GenAI工具的安全检测和安全防护解决方案，这对于人工智能技术在企业侧的深入应用具有重大意义。
国际数据公司（ IDC）于近日发布了《大模型安全检测与防护解决方案品牌推荐与洞察》（Doc#CHC52780924，2024年12月） 报告，本次研究报告对包括360数字安全集团、阿里巴巴、安恒信息、绿盟科技、火山引擎、奇安信、启明星辰集团、天融信、新华三、亚信安全（按公司首字母拼音排序）在内的网络安全领域头部企业进行了调研，根据IDC的调研，当前大模型安全检测与防护解决方案包含了大模型攻防检测、输入内容安全检测、生成内容安全检测、代码安全检测、模型训练与防护、数据保护、访问控制与API防护几个大的方面。
基于本次研究，IDC给技术买家的建议：
• 最终用户需要将安全规划融入项目核心，从项目启动初期就高度重视安全防护，并进行全面的风险评估与预案制定。在评估相关安全防护解决方案时，不仅要考虑技术的先进性和实用性，更要确保方案能够精准满足自身特定应用场景的安全需求，并可以与现有的安全体系实现紧密集成。
• 在选择合作供应商时，重点考察包括供应商是否提供及时、专业的客户支持，能否根据企业业务变化和技术演进提供前瞻性的安全策略建议，以及是否具备持续的技术更新能力，以确保长期为企业提供可靠的安全保障和问题解决服务。
• 最终用户应该保持对内部工作人员的安全意识培训，不断提升员工对大模型安全风险的认知度和应对能力，从而有效减少因人为疏忽导致的安全风险。
• 最终用户应自行或与供应商合作建立起常态化的合规监控与评估机制，包括严格按照预定周期进行安全审查，密切关注法律法规、行业标准和监管政策的动态变化，并及时调整大模型应用的安全策略和操作流程。
• 在具体实施安全防护措施时，最终用户应注重以下几个方面：一是深化攻防检测机制，运用多层次、高频次的检测手段全面洞察安全漏洞，确保大模型应用基础环境时刻保持严格的安全防护；二是严控输入内容，通过敏感词过滤、语义理解以及多模态输入检测等手段阻断风险源头；三是加强输出内容的合规性与安全性审查，确保生成的信息安全、准确；四是加强代码安全扫描，对开源组件进行严格管理，确保代码层面的安全性与稳定性；五是实施精细的访问控制与数据保护措施，防止恶意行为和数据泄露。
• 最终用户应关注数据全生命周期的保护，遵循最小化原则采集数据，并通过加密等方式存储与传输，同时实施严格的访问控制与审计机制，确保数据的安全使用。
IDC中国网络安全分析师陈佳表示，大模型安全检测和防护解决方案是确保大模型技术稳定、可靠运行的关键所在。通过实施全面的安全监测、及时的风险预警、有效的防护策略以及灵活的应急响应机制，能够全方位地守护大模型免受各类安全威胁的侵害，为大模型的持续健康发展提供坚实的后盾，助力企业在利用大模型技术推动业务创新的同时，确保安全无忧。值得注意的是，大模型安全检测与防护技术仍处于不断发展并逐步完善的阶段。因此，最终用户在选择具体的安全解决方案时，应当充分评估自身的安全需求，明确所需防护的重点和范围。同时，也需要对供应商的技术实力、服务支持以及解决方案的成熟度和适用性进行细致考察。
如需进一步了解与此研究相关的信息或关注其他相关项目研究，请与IDC中国分析师陈佳（邮箱：jackson.chen@idc.com） 联系。
-全文完-
欲了解IDC报告的更多信息，请访问www.idc.com.cn。欲购买报告，请致电+86-10-5889 1666与IDC中国销售部联系，或发 email 至 frankwang@idc.com 。
关于 IDC
国际数据公司（IDC ）是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师，为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策，以实现关键业务目标。成立于1964 年，IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息，请登录www.idc.com.cn 。
– # # # –
相关咨询，请联系：
王勇，IDC中国 副总裁
电话：(+86-10) 5603 4087
谢静，IDC中国 市场部
电话：(+86-10) 6422 9568
邮箱： mxie@idc.com
扫描微信二维码，关注IDC 研究成果，掌握ICT市场脉搏
