工作流调度 Azkaban 带条件的工作流

官网文档 条件工作流功能允许用户自定义条件，决定是否运行某些Job 分两种情况 运行时参数：可以根据一个job之前的 job的输出，决定此job是执行还是不执行预定义宏：也可以使用基于之前的job的status预定义宏，决定此job是执行还是不执行在这些条件下，用户可以在确定 Job执行逻辑时获得更大的灵活性例如，只要父 Job 之一成功，就可以运行当前 Job 1、运行时参数 原理 父 Job 将参数写入JOB_OUTPUT_PROP_FILE... ... [查看更多]

Views: 8

工作流调度 Azkaban 工作流-执行Java任务

执行Java任务 type 类型为 javaprocess的job，可以运行一个自定义Java类的main方法，可用的配置如下： Xms：最小堆 Xmx：最大堆 classpath：类路径 java.class：要运行的 Java 对象，其中必须包含 Main 方法 main.args： main 方法的参数 案例： 1、新建一个 azkaban 的 maven 工程 2、创建包名： com.kkb.azkaban 3、包中创建 JavaProcessTest 类 代码打... ... [查看更多]

Views: 6

工作流调度 Azkaban 工作流 Flow2.0入门

Azkaban使用 azkaban 4.x目前同时支持flow1.0与flow 2.0； 官网说flow 1.0将来会被淘汰，所以本文档使用flow 2.0 如果对flow 1.0感兴趣的同学，可以参考文章自行学习体验 Azkaba内置的任务类型支持command、java 1. Flow 2.0 1. 入门例子Hello World 在windows或mac中，创建文件flow20.project，内容如下 创建basic.flow文件，内容如下 ... ... [查看更多]

Views: 10

工作流调度 Azkaban 简介和安装

工作流调度器azkaban https://azkaban.readthedocs.io/en/latest/getStarted.html 一、课前准备 安装VMware虚拟化软件 安装CentOS 7虚拟机3个 安装3节点的hadoop集群 安装了hive 安装了zookeeper集群 安装了hbase集群 二、课堂主题 azkaban架构 azkaban运行模式 azkaban安装部署 azkaban使用 三、课堂目标 理解azkanban架构 完成azkaban安... ... [查看更多]

Views: 28