欢迎光临
CDC 数据入湖方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi
   

CDC 数据入湖方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi

本文是《CDC 数据入湖方案:MySQL > Flink CDC > Kafka > Hudi》的增强版,在打通从源端数据库到 Hudi 表的完整链路的前提下,还额外做了如下两项工作:

  • 引入 Confluent Schema Registry,有效控制和管理上下游的 Schema 变更

  • 使用 Avro 格式替换 Json,搭配 Schema Registry,可以抽离 Avro 中的 Schema 数据,减少了 Avro 消息的体积,提升传输速率

1. 环境准备


  • 本文依旧使用 Debezium 官方提供的一个 MySQL Docker镜像,构建操作可参考其 官方文档,使用的是其内置的 inventory 数据库;

  • 本文需要搭建一个 Confluent Schema Registry,如果仅以测试为目的,建议使用 Confluent 提供的 官方Docker镜像,构建操作可参考其

 
 绝对值不等式的解法  杜鹃花刚买的杜鹃花怎样栽培  一群相公往南飞  回头太难歌词  快乐伴我成长作文  玄武湖烟花 
打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《CDC 数据入湖方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi》
文章链接:https://goodmancom.com/wl/175648.html