[HBase]往 HBase 导入数据的几种操作

往 HBase 导入数据的几种操作 文章目录 一、前言 二、利用ImportTsv将csv文件导入到HBase 三、利用completebulkload将数据导入到HBase 四、利用Import将数据导入到HBase 一、前言 HBase作为Hadoop DataBase,除了使用put进行数据导入之外,还有以下几种导入数据的方式: (1)使用importTsv功能将csv文件导入HBase; (2)使用import功能,将数据导入HBase; (3)使用BulkLoad功能将数据... ... [查看更多]

Views: 459

HBase(十四)SQL引擎Phoenix

Phoenix介绍 1.什么是Phoenix Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据。 2.Phoenix底层原理 Phoenix框架将命令行上键入的sql语句翻译成hbase指令,然后hbase用翻译好的指令去操作集群,执行完之后给客户端反馈结果。 3.安装部署 需要先安装好hbase集群,phoenix只是一个工具,只需要在一台机器上安装就可以了,这里我们选择node0... ... [查看更多]

Views: 19

HBase(十三)存储引擎设计与LSM-tree

前言 在数据存储的领域,有两大阵营,以B+tree为基础的关系型数据库,MySQL,SQLServer。以及以LSM-tree为基础的NoSQL key-value 存储, LevelDB。 LSM是(Log Structured Merge的简称)在分布式存储系统中通常会被设计成append-only的系统,LSM系统主要是顺序写优化,例如commit log等等,并作为分布式系统底层的基石。因此,要了解LSM的实现是十分重要的,下面主要介绍基于跳表的LSM-tree的实现 (Sk... ... [查看更多]

Views: 6

HBase(十二)Region 分裂策略

region中存储的是一张表的数据,当region中的数据条数过多的时候,会直接影响查询效率. 当region过大的时候,hbase会将region拆分为两个region , 这也是Hbase的一个优点。 HBase的region split策略一共有以下6种: 1、ConstantSizeRegionSplitPolicy 0.94版本前,HBase region的默认切分策略 当region中最大的store大小超过某个阈值(hbase.hregion.max.filesize=... ... [查看更多]

Views: 28