开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

是时候改变你数仓的增量同步方案了

发布者：开发者说 2019-12-02 21:26:52 1473

开发者说

+关注

视频介绍

本分享会先介绍传统数据增量同步方案，之后对比新方案（完全基于Spark无需额外组件），介绍新方案如何结合最新的数据湖(delta lake)实现，同时引入spark-binlog，极大的简化了数据增量的门槛和架构。如果时间允许，我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持
我们新的数据增量方案的。

讲师介绍

祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。

关键词：

云原生数据仓库AnalyticDB MySQL版postgresql

云原生数据仓库AnalyticDB MySQL版云原生

云原生数据仓库AnalyticDB MySQL版数据仓库

云原生数据仓库AnalyticDB MySQL版数据

数据云原生数据仓库AnalyticDB MySQL版

开源大数据平台 E-MapReduce

+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门讨论

展开全部

+关注

开发者说

文章

问答

视频

来源圈子

Apache Spark 中国技术社区

4459

邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～

+ 订阅

是时候改变你数仓的增量同步方案了

讲师介绍

开源大数据平台 E-MapReduce

热门文章

热门讨论

相关产品