操作HDFS node01节点用root用户启动hadoop集群 编写flow文件operateHdfs.flow，内容如下 生成zip项目文件、web ui上传zip、执行flow 查看HDFS结果 MR任务 记得启动hadoop的historyserver，否则执行mr项目时，job的日志会报如下类似错误日志 192.168.77.30:10020 应该是hadoop集群的historyserver服务 编写flow文件mr.flow，内容如下 ... ... [查看更多]
操作HDFS node01节点用root用户启动hadoop集群 $ su root 密码： # # cd # start-all.sh 编写flow文件operateHdfs.flow，内容如下 nodes: - name: jobA type: command config: command: echo "start execute" command.1: /export/servers/hadoop-2.7... ... [查看更多]
Views: 4
4. 邮件报警案例 azkaban邮件报警机制，需要发件人邮箱、收件人邮箱 1、注册邮箱 处理发件人邮箱 注册一个126邮箱，此处邮箱地址是kkb1117@126.com 登录邮箱 开启SMTP服务(simple mail transfer protocol) 已经开启 2、邮件报警案例 node03及web服务器，配置发送告警的发件人邮箱 文件中查找mail 修改这两个属性，同时追加两个mail属性，如下 mail.sender指定邮件发件人的邮箱 mail... ... [查看更多]
4. 邮件报警案例 azkaban邮件报警机制，需要发件人邮箱、收件人邮箱 1、注册邮箱 处理发件人邮箱 注册一个126邮箱，此处邮箱地址是kkb1117@126.com 登录邮箱 开启SMTP服务(simple mail transfer protocol) 已经开启 2、邮件报警案例 node03及web服务器，配置发送告警的发件人邮箱 $ cd /export/servers/azkaban-web-server-4.0.0/conf $ vim azkaban... ... [查看更多]
Views: 7
定时任务 以之前的入门例子Hello World为例 利用此例子的flow、project文件，生成zip文件scheduler.zip，再创建一个项目 删除定时调度 与crontab语法相似；参考crontab语法 ... ... [查看更多]
定时任务 以之前的入门例子Hello World为例 利用此例子的flow、project文件，生成zip文件scheduler.zip，再创建一个项目 删除定时调度 */1 * ? * * 每分钟执行一次定时调度任务 0 1 ? * * 每天晚上凌晨一点钟执行这个任务 0 */2 ? * * 每隔两个小时定时执行这个任务 30 21 ? * * 每天晚上九点半定时执行这个任务 与crontab语法相似；参考crontab语法 ... ... [查看更多]
Views: 7
官网文档 条件工作流功能允许用户自定义条件，决定是否运行某些Job 分两种情况 运行时参数：可以根据一个job之前的 job的输出，决定此job是执行还是不执行预定义宏：也可以使用基于之前的job的status预定义宏，决定此job是执行还是不执行在这些条件下，用户可以在确定 Job执行逻辑时获得更大的灵活性例如，只要父 Job 之一成功，就可以运行当前 Job 1、运行时参数 原理 父 Job 将参数写入JOB_OUTPUT_PROP_FILE... ... [查看更多]
官网文档 条件工作流功能允许用户自定义条件，决定是否运行某些Job 分两种情况 运行时参数：可以根据一个job之前的 job的输出，决定此job是执行还是不执行预定义宏：也可以使用基于之前的job的status预定义宏，决定此job是执行还是不执行在这些条件下，用户可以在确定 Job执行逻辑时获得更大的灵活性例如，只要父 Job 之一成功，就可以运行当前 Job 1、运行时参数 原理 父 Job 将参数写入JOB_OUTPUT_PROP_FILE... ... [查看更多]
Views: 8
执行Java任务 type 类型为 javaprocess的job，可以运行一个自定义Java类的main方法，可用的配置如下： Xms：最小堆 Xmx：最大堆 classpath：类路径 java.class：要运行的 Java 对象，其中必须包含 Main 方法 main.args： main 方法的参数 案例： 1、新建一个 azkaban 的 maven 工程 2、创建包名： com.kkb.azkaban 3、包中创建 JavaProcessTest 类 代码打... ... [查看更多]
执行Java任务 type 类型为 javaprocess的job，可以运行一个自定义Java类的main方法，可用的配置如下： Xms：最小堆 Xmx：最大堆 classpath：类路径 java.class：要运行的 Java 对象，其中必须包含 Main 方法 main.args： main 方法的参数 案例： 1、新建一个 azkaban 的 maven 工程 2、创建包名： com.kkb.azkaban 3、包中创建 JavaProcessTest 类 packa... ... [查看更多]
Views: 6
