Flume 进阶

一、flume事务 put事务流程 1、doPut 将批量数据先写入临时缓冲区putList 2、doCommit 检查Channel内存队列是否足够， （1）达到一定时间没有数据写入到putList （2）达到了putListCapcity容量 3、doRollback Channel内存队列空间不足，回滚数据到putList，会被channel打回来 take事务流程： 1、doTake 将数据取到临时缓冲区takeList，并将数据发送到HDFS 2、doCommit 如果数... ... [查看更多]

一、flume事务 put事务流程 1、doPut 将批量数据先写入临时缓冲区putList 2、doCommit 检查Channel内存队列是否足够， （1）达到一定时间没有数据写入到putList （2）达到了putListCapcity容量 3、doRollback Channel内存队列空间不足，回滚数据到putList，会被channel打回来 take事务流程： 1、doTake 将数据取到临时缓冲区takeList，并将数据发送到HDFS 2、doCommit 如果数... ... [查看更多]

Views: 140

Presto分布式SQL查询引擎

一、课前准备 jdk版本要求：Java 8 Update 151 or higher (8u151+), 64-bit 安装好hadoop集群 安装好hive 二、课堂主题 介绍presto presto架构 prsto安装部署 presto使用 三、课堂目标 理解presto 独立完成presto安装部署 使用presto 四、知识要点 1. Presto是什么？ Hadoop提供了大数据存储与计算的一整套解决方案；但是它采用的是MapReduce计算框架，只适合离... ... [查看更多]

一、课前准备 jdk版本要求：Java 8 Update 151 or higher (8u151+), 64-bit 安装好hadoop集群 安装好hive 二、课堂主题 介绍presto presto架构 prsto安装部署 presto使用 三、课堂目标 理解presto 独立完成presto安装部署 使用presto 四、知识要点 1. Presto是什么？ Hadoop提供了大数据存储与计算的一整套解决方案；但是它采用的是MapReduce计算框架，只适合离... ... [查看更多]

Views: 11

编写控制台游戏程序

现在让我们使用所学的知识完成一个游戏程序。这里我们将不使用任何图形界面，而是制作一个简单的、控制台上运行的字符界面的游戏。 需要注意Windows的控制台程序和Linux的控制台程序需要使用各自不同的方法来实现诸如光标移动，颜色设置等操作，下面分别讲解。 清屏 在Windows下控制台窗口的控制是基于win32 api, 就是那些在cmd下可以执行的命令, 使用之前需要引入头文件windows.h。 例如Windows下清除屏幕： 而在Linux下是通过Shell命令，只需要引入s... ... [查看更多]

现在让我们使用所学的知识完成一个游戏程序。这里我们将不使用任何图形界面，而是制作一个简单的、控制台上运行的字符界面的游戏。 需要注意Windows的控制台程序和Linux的控制台程序需要使用各自不同的方法来实现诸如光标移动，颜色设置等操作，下面分别讲解。 清屏 在Windows下控制台窗口的控制是基于win32 api, 就是那些在cmd下可以执行的命令, 使用之前需要引入头文件windows.h。 例如Windows下清除屏幕： system("cls"); 而在Linux下是通过... ... [查看更多]

Views: 18

Maxwell 数据库数据实时采集

1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。 官网(http://maxwells-daemon.io) GitHub(https://gi... ... [查看更多]

1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。 官网(http://maxwells-daemon.io) GitHub(https://gi... ... [查看更多]

Views: 11

Flume综合案例之拦截器

Flume综合案例之静态拦截器使用 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： 2. 场景分析 3. 数据流程处理分析 4. 实现 服务器A对应的IP为 192.168.52.100 服务器B对应的IP为 192.168... ... [查看更多]

Flume综合案例之静态拦截器使用 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： /source/logs/access/20200210/** /source/logs/nginx/20200210/** /source/logs/w... ... [查看更多]

Views: 108