安装netcat Netcat 是一款简单的Unix工具，简称 nc，安全界叫它瑞士军刀, 使用UDP和TCP协议。 它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的测试工具或黑客工具。 使用它你可以轻易的建立任何连接。内建有很多实用的工具。 nc的一些用法: 端口测试 检测主机上8080端口服务是否开放 或者 z表示不发送数据,v表示显示额外信息 nc 命令后面的 8080 可以写成一个范围进... ... [查看更多]
Views: 325
分类： Flume
Flume 进阶
一、flume事务 put事务流程 1、doPut 将批量数据先写入临时缓冲区putList 2、doCommit 检查Channel内存队列是否足够， （1）达到一定时间没有数据写入到putList （2）达到了putListCapcity容量 3、doRollback Channel内存队列空间不足，回滚数据到putList，会被channel打回来 take事务流程： 1、doTake 将数据取到临时缓冲区takeList，并将数据发送到HDFS 2、doCommit 如果数... ... [查看更多]
Views: 140
Flume综合案例之拦截器
Flume综合案例之静态拦截器使用 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： 2. 场景分析 3. 数据流程处理分析 4. 实现 服务器A对应的IP为 192.168.52.100 服务器B对应的IP为 192.168... ... [查看更多]
Views: 106
Flume Sinks
Flume Sinks 类型有很多，这里只挑出一些我们常用的Sink. HDFS SinkHive SinkLogger SinkAvro SinkHBase SinksKafka SinkHTTP SinkFile Roll SinkNULL sinkCustom SInk HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Eve... ... [查看更多]
Views: 140