Sqoop导出Hive表到MySQL中 前提 DFS和Yarn需保持运行状态 MySQL服务处于运行状态 创建对应的MySQL表 根据Hive中用于存放分析结果的四个表，也同样在MySQL中创建具有相同表结构的四个表 使用Sqoop命令导出 语法 第一个表 建表 导出 第二个表 建表 导出 第三个表 建表 导出 第四个表 建表 导出 数据可视化展示 superset是由Airbnb（知名在线短租赁公司）开源的数据分析与可视化平台（曾用名Caravel、Panor... ... [查看更多]
Views: 82
Flume Sinks 类型有很多，这里只挑出一些我们常用的Sink. HDFS SinkHive SinkLogger SinkAvro SinkHBase SinksKafka SinkHTTP SinkFile Roll SinkNULL sinkCustom SInk HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Eve... ... [查看更多]
Views: 140
Phoenix介绍 1.什么是Phoenix Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 2.Phoenix底层原理 Phoenix框架将命令行上键入的sql语句翻译成hbase指令，然后hbase用翻译好的指令去操作集群，执行完之后给客户端反馈结果。 3.安装部署 需要先安装好hbase集群，phoenix只是一个工具，只需要在一台机器上安装就可以了，这里我们选择node0... ... [查看更多]
Views: 20
前言 在数据存储的领域，有两大阵营，以B+tree为基础的关系型数据库，MySQL，SQLServer。以及以LSM-tree为基础的NoSQL key-value 存储, LevelDB。 LSM是(Log Structured Merge的简称)在分布式存储系统中通常会被设计成append-only的系统，LSM系统主要是顺序写优化，例如commit log等等，并作为分布式系统底层的基石。因此，要了解LSM的实现是十分重要的，下面主要介绍基于跳表的LSM-tree的实现 (Sk... ... [查看更多]
Views: 6
region中存储的是一张表的数据，当region中的数据条数过多的时候，会直接影响查询效率. 当region过大的时候，hbase会将region拆分为两个region , 这也是Hbase的一个优点。 HBase的region split策略一共有以下6种： 1、ConstantSizeRegionSplitPolicy 0.94版本前，HBase region的默认切分策略 当region中最大的store大小超过某个阈值(hbase.hregion.max.filesize=... ... [查看更多]
Views: 28
