target audience: TECH BUYER Publication date: Nov 2024 - Document type: IDC PeerScape - Doc Document number: # CHC52204425
IDC PeerScape：DataOps最佳实践案例
Content
List of Figures
Get More
When you purchase this document, the purchase price can be applied to the cost of an annual subscription, giving you access to more research for your investment.
Related Links
Abstract
DataOps定义：IDC将DataOps定义为技术和方法的组合，注重质量，以一致和持续地交付数据价值，连接数据生产者和消费者，为任何数据驱动的结果提供价值，包括分析模型、仪表盘、算法结果以及运营或战略业务决策。DataOps软件支持数据生产者和消费者之间的协作，协调工具链以实施管道，支持数据应用程序CI/CD方法，并在数据流经管道时对其进行持续测试。
IDC在本报告中分析了DataOps市场趋势和进展，绘制路线图，并列出了最佳行业实践，来为市场提供参考。
DataOps路线图共包括数据一致性、数据资产化、数据可追踪、事件警报&溯源解决、迭代/优化五个主要维度，并分成观测和行动两个视角来实现数据旅程的可观察性和民主化：
- 数据一致性：数据一致性强调在广泛集成数据的初始阶段，就保证所有数据的一致、同步、精准连接，包括观测中的数据指标统一、跨表/库依赖关系映射、数据同步流通监测、作业/模型填充表追踪、可视化双向/多向流动，以及行动中的数据差异警告、阻止坏数据登录、监测并修复编排问题、数据相关性分析。在这个过程中，技术供应商需要重点关注如何利用AI、向量检索、图技术来实现数据的精准和模糊匹配，并确保利用Flink、Starrocks等组件实现实时采集和分析。
- 数据资产化：数据资产化强调企业为数据赋予特定的资产和价值属性，这并不是要求数据必须要有明确的估值，而是需要将数据视为无形资产来管理。数据资产化包括观测中的数据健康状态、关键资产评分、自定义业务需求规则，以及行动中的自适应数据产品级别、监测并优化运营响应、追踪并更新数据新鲜度、动态调整产品数量/质量。
- 数据可追踪：数据可追踪关注数据本身和数据管道的变化情况，可以自适应业务需求和时间变化来动态调整监测体系，包括观测中的识别表异常变化、识别延迟情况、超出阈值自动警报、追踪字段/谱系变化，以及行动中的自适应时间/结构变化、根据质量自动制定阈值、AI合成数据动态调试。
- 事件警报&溯源解决：该流程更强调通过系统AI和自动化能力的闭环管理，包括观测中的自动影响分析、根据相关性发送警报、跟踪事件状态和严重性、追踪数据所有者状态，以及行动中的查找不良数据源、追踪受影响的数据、通知并关闭下游问题、代码揭示错误逻辑、跨数据源追踪原因。
- 迭代/优化：迭代和优化是客户愿意持续付费的动力，尤其是当前环境下客户对于基于AI的自动化系统的持续更新迭代动力产生担忧，以及对此额外付出的预算和运营成本，包括观测中的建立持续信任评级、识别效率低下管道、评级/反馈警报事件、评估管道重构需求，以及行动中的调整前期管道监控、过滤特定保密查询、学习历史事件/故障建议、弃用未使用表/字段、了解/分享最佳实践。
“DataOps并不是固定的方法论或技术点，而是发现数据管理价值的持续管道建设，可观察性和民主化是进行DataOps建设的目标，市场在此过程中，需要将数据与IT、AI部门一体化考虑，特别是各方面的需求以及应用服务的统一出口和最终内容交付对象，否则还将面临烟囱孤岛化的问题。”——IDC新兴科技研究组高级分析师李浩然表示。