工作流调度器azkaban https://azkaban.readthedocs.io/en/latest/getStarted.html 一、课前准备 安装VMware虚拟化软件 安装CentOS 7虚拟机3个 安装3节点的hadoop集群 安装了hive 安装了zookeeper集群 安装了hbase集群 二、课堂主题 azkaban架构 azkaban运行模式 azkaban安装部署 azkaban使用 三、课堂目标 理解azkanban架构 完成azkaban安... ... [查看更多]
Views: 28
Sqoop导出Hive表到MySQL中 前提 DFS和Yarn需保持运行状态 MySQL服务处于运行状态 创建对应的MySQL表 根据Hive中用于存放分析结果的四个表，也同样在MySQL中创建具有相同表结构的四个表 使用Sqoop命令导出 语法 第一个表 建表 导出 第二个表 建表 导出 第三个表 建表 导出 第四个表 建表 导出 数据可视化展示 superset是由Airbnb（知名在线短租赁公司）开源的数据分析与可视化平台（曾用名Caravel、Panor... ... [查看更多]
Views: 82
Flume Sinks 类型有很多，这里只挑出一些我们常用的Sink. HDFS SinkHive SinkLogger SinkAvro SinkHBase SinksKafka SinkHTTP SinkFile Roll SinkNULL sinkCustom SInk HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Eve... ... [查看更多]
Views: 140
Phoenix介绍 1.什么是Phoenix Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 2.Phoenix底层原理 Phoenix框架将命令行上键入的sql语句翻译成hbase指令，然后hbase用翻译好的指令去操作集群，执行完之后给客户端反馈结果。 3.安装部署 需要先安装好hbase集群，phoenix只是一个工具，只需要在一台机器上安装就可以了，这里我们选择node0... ... [查看更多]
Views: 20
前言 在数据存储的领域，有两大阵营，以B+tree为基础的关系型数据库，MySQL，SQLServer。以及以LSM-tree为基础的NoSQL key-value 存储, LevelDB。 LSM是(Log Structured Merge的简称)在分布式存储系统中通常会被设计成append-only的系统，LSM系统主要是顺序写优化，例如commit log等等，并作为分布式系统底层的基石。因此，要了解LSM的实现是十分重要的，下面主要介绍基于跳表的LSM-tree的实现 (Sk... ... [查看更多]
Views: 6
