美林数据
ABOUT US
美林数据技术股份有限公司(简称:美林数据,NEEQ:831546)是国内知名的数据治理和数据分析服务提供商。

美林新闻/NEWS

首页 美林数据 行业资讯

什么是变化数据捕获(CDC)?

2022-06-30 18:19:06
在进行数据ETL过程中,我们经常需要通过周期性的定时调度将业务数据按照T+1的方式同步到数据仓库中,进行数据分析处理,最终通过BI报表展示给最终用户,但这种方式实时性较差,用户往往只能看到昨天的数据,会影响用户决策的及时性;而如果用户要近实时的查看报表,则需要将调度周期频率提高到小时或分钟,这对整个数据分析系统是个很大的考验;而上述过程也只适用于数据不断新增的情况,如果遇到业务数据修改、删除的过程,则只能每次全量同步覆盖;在面对上述数据同步过程中数据时效性要求高、历史数据会变更的问题,我们可以使用变化数据捕获技术进行数据的实时同步。
什么是变化数据捕获?
变化数据捕获 (Change Data Capture,缩写CDC) 是指识别和捕获对数据库中的数据所做的更改(包括数据或数据表的插入、更新、删除等),然后将这些更改按发生的顺序完整记录下来,并实时通过消息中间件传送到下游流程或系统的过程。通过这种方式,CDC能够向数据仓库提供高效、低延迟的数据传输,以便信息被及时转换并交付给专供分析的应用程序。
变化数据捕获
CDC具备那些优点呢?
对于各种时间敏感类的数据很适合通过CDC的方式进行同步传输,其具备以下好处:

  • 通过增量加载或将数据更改实时流式传输,而无需周期性调度执行批量加载更新操作。
  • CDC实时同步传输数据,它利于不停机的数据库迁移,并支持实时分析,可以帮助用户根据最新的数据做出更快、更准确的决策。
  • CDC最大限度地减少了数据的传输网络流量,适合跨广域网传输数据。
  • CDC可以确保多个系统中的数据保持同步。
CDC的使用场景有哪些呢?
CDC技术的应用场景非常广泛,包括:

  • 数据分发:将一个数据源的数据分发给多个下游业务系统,常用于业务解耦、微服务系统。
  • 数据采集:面向数据仓库、数据湖的ETL数据集成,消除数据孤岛,便于后续的分析。
  • 数据同步:常用于数据备份、容灾等。
服务热线
400-608-2558
咨询热线
029-88696198
美林数据
微信扫描二维码,立即在线咨询