Flume 进阶

一、flume事务 put事务流程 1、doPut 将批量数据先写入临时缓冲区putList 2、doCommit 检查Channel内存队列是否足够, (1)达到一定时间没有数据写入到putList (2)达到了putListCapcity容量 3、doRollback Channel内存队列空间不足,回滚数据到putList,会被channel打回来 take事务流程: 1、doTake 将数据取到临时缓冲区takeList,并将数据发送到HDFS 2、doCommit 如果数... ... [查看更多]

Views: 140