工作流调度 Azkaban 工作流-操作HDFS和执行MR任务

操作HDFS node01节点用root用户启动hadoop集群 编写flow文件operateHdfs.flow,内容如下 生成zip项目文件、web ui上传zip、执行flow 查看HDFS结果 MR任务 记得启动hadoop的historyserver,否则执行mr项目时,job的日志会报如下类似错误日志 192.168.77.30:10020 应该是hadoop集群的historyserver服务 编写flow文件mr.flow,内容如下 ... ... [查看更多]

Views: 4