数据同步工具 – DataX (阿里开源)

1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具,致力于实现包括:关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。... ... [查看更多]

Views: 56

大数据高性能实时分析数据存储系统 – Druid

一、课前准备 安装好Hadoop集群 安装好kafka集群 二、课堂主题 学习Druid的架构、安装、使用 三、课堂目标 了解druid 了解druid的应用场景 了解druid架构原理 了解druid数据结构 安装部署druid 使用druid 四、知识要点 1. druid是什么 Druid是一个专为大型数据集上的高性能切片和OLAP分析而设计的数据存储系统。 它使用了分布式的、列式存储,支持实时分析 相比传统的OLAP系统,在处理PB级别数据、毫秒级查询、实时处理... ... [查看更多]

Views: 99