HBase表的数据模型 hbase表 模型.xlsx rowkey行键 table的主键，table中的记录按照rowkey 的字典序进行排序 Row key行键可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes) Column Family列族 列族或列簇 HBase表中的每个列，都归属与某个列族 列族是表的schema的一部分(而列不是)，即建表时至少指定一个列族 比如创建一张表，名为user，有两个列族，分别是info和data，建... ... [查看更多]
Views: 4
HBase介绍 HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 在需要实时读、写随机访问、超大规模数据集时，可以使用HBase。 HBase的特点 极易扩展，海量存储 底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点就可以了 可以通过增加服务器来对集群的存储进行扩容 列式存储 HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。 高并发 支持高并发的读... ... [查看更多]
Views: 25
Sqoop 安装 参考SQOOP安装配置 编写Sqoop脚本 点击UI界面Sqoop导出时需要输入导出的源路径，存储位置： 然后编写Sqoop脚本如下： 等待一段时间执行完成，查看mysql数据是否发生更新 ... ... [查看更多]
Views: 75
MapReduce工程代码 创建maven工程 在项目根目录下创建input文件夹，创建一个文本文件access.log用来模拟nginx日志 引入maven依赖 添加log4j.properties文件在资源目录下即resources，文件内容如下 编写MR程序之Mapper：LogMapper.java 编写MR程序之Mapper：LogReducer.java 编写MR程序之Job：LogJob.java 本地运行代码，测试下结果正确与否 本地运... ... [查看更多]
Views: 77
superset是由Airbnb（知名在线短租赁公司）开源的数据分析与可视化平台（曾用名Caravel、Panoramix），该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化（导出）、用户/角色权限控制，还集成了一个SQL编辑器，可以进行SQL编辑查询对结果集进行保存可视化等。 1、superset基本介绍 我们已经了解到了superset是一款数据展示的工具，接下来 一起来了解一下superset的基本介绍。 核心功能： 1.快速创建数据可视化互动仪表盘 2.丰富的可视化图... ... [查看更多]
Views: 61
