工作流调度 Azkaban 工作流-定时任务

定时任务

以之前的入门例子Hello World为例
利用此例子的flow、project文件，生成zip文件scheduler.zip，再创建一个项目

image-20210323142840984

image-20210323142936042

image-20210323143025517

image-20210323143038838

image-20210323143302091

image-20210323143358370

image-20210323143437913

image-20210323143458419

image-20210323143528041

删除定时调度

image-20210323143945911

*/1 * ? * *  每分钟执行一次定时调度任务
0 1 ? * *  每天晚上凌晨一点钟执行这个任务
0 */2 ? * *  每隔两个小时定时执行这个任务
30 21 ? * * 每天晚上九点半定时执行这个任务

与crontab语法相似；参考crontab语法

Views: 21

工作流调度 Azkaban 带条件的工作流

官网文档

条件工作流功能允许用户自定义条件，决定是否运行某些Job

分两种情况

  • 运行时参数：可以根据一个job之前的 job的输出，决定此job是执行还是不执行
  • 预定义宏：也可以使用基于之前的job的status预定义宏，决定此job是执行还是不执行
    在这些条件下，用户可以在确定 Job执行逻辑时获得更大的灵活性
    例如，只要父 Job 之一成功，就可以运行当前 Job
1、运行时参数

原理

  • 父 Job 将参数写入JOB_OUTPUT_PROP_FILE环境变量所指向的文件
  • 子 Job 使用 ${jobName:param}来获取父 Job 输出的参数，参数值与一个字符串或数字进行比较，来定义执行条件

支持的比较、逻辑运算符有

  • == 等于
  • != 不等于
  • > 大于
  • >= 大于等于
  • < 小于
  • <= 小于等于
  • && 与
  • || 或
  • !非

先定义一个flow文件，包含两个job

  • jobA执行一个sh脚本，脚本将当前是星期几的值，写入文件$JOB_OUTPUT_PROP_FILE
  • jobB执行一个脚本，判断如果jobA输出的是星期二或星期四，则jobB执行

flow文件runtimeParam.flow内容如下

nodes:
  - name: JobA
    type: command
    config:
      command: sh JobA.sh
  - name: JobB
    type: command
    dependsOn:
      - JobA
    config:
      command: sh JobB.sh
    condition: ${JobA:dayOfTheWeek} == 2 || ${JobA:dayOfTheWeek} == 4

JobA.sh内容如下

#!/bin/bash
echo "do JobA"
dayOfTheWeek=`date +%w`
echo "{\"dayOfTheWeek\":$dayOfTheWeek}" > $JOB_OUTPUT_PROP_FILE

运行时参数需要重定向到文件$JOB_OUTPUT_PROP_FILE中

  • JobB.sh内容如下
#!/bin/bash
echo "do JobB"

将 JobA.sh、JobB.sh、 runtimeParam.flow 和 flow20.project 打包成runtimeParam.zip

web ui创建项目、上传zip、执行flow

image-20210325171031676

运行此flow时，是周二，所以符合执行jobB的条件，所以发现jobA、jobB都执行成功

image-20210325171138861
image-20210323114056229
image-20210323115042974

如果不是周二或周日，那么jobB执行失败，如下

image-20210325171350641
image-20210323114850913
2、预定义宏

Azkaban 中预置了几个预定义宏。
预定义宏会根据当前job的所有父 Job 的完成情况进行判断，再决定是否执行当前job。
可用的预定义宏如下：

  • 1、all_success: 表示父 Job 全部成功才执行(默认)
  • 2、all_done：表示父 Job 全部完成才执行
  • 3、all_failed：表示父 Job 全部失败才执行
  • 4、one_success：表示父 Job 至少一个成功才执行
  • 5、one_failed：表示父 Job 至少一个失败才执行

每个宏对应的job 状态如下

  • all_done: FAILED, KILLED, SUCCEEDED, SKIPPED, FAILED_SUCCEEDED, CANCELLED
  • all_success / one_success: SUCCEEDED, SKIPPED, FAILED_SUCCEEDED
  • all_failed / one_failed: FAILED, KILLED, CANCELLED

案例：flow中有3个job

  • jobA执行一个sh脚本
  • jobB执行一个sh脚本
  • jobC执行一个sh命令，只要jobA或jobB任一个成功，jobC才执行

flow文件macro.flow内容如下

nodes:
  - name: JobA
    type: command
    config:
      command: sh JobA.sh
  - name: JobB
    type: command
    config:
      command: sh JobB.sh
  - name: JobC
    type: command
    dependsOn:
      - JobA
      - JobB
    config:
      command: echo 'This is jobC'
    condition: one_success

将JobB.sh、 macro.flow、flow20.project 打包成macro.zip

  • 注意JobB.sh跟上个例子相同的文件
  • 注意：生成zip文件时，故意没有将JobA.sh打包到zip文件；这样JobA肯定执行失败

web ui创建项目、上传zip、执行flow

image-20210323121331536
image-20210325171515976

发现JobA失败；JobB、JobC成功；查看Job List

image-20210325171636151
image-20210323121543644
image-20210323121614626
3. 运行时参数结合预定义宏

指定job是否执行的条件，除了单独由一个“运行时参数”或一个“预定义宏”指定外
还可以用两类的组合结果指定条件：

  • 即若干个“运行时参数”
  • 再加上一个“预定义宏”
  • 通过逻辑运算，根据最终结果是true还是false，决定job是否执行

举例：

  • JobA的输出参数param1的值等于1成立
  • 并且JobB的输出参数param2大于5成立
  • 两个条件都成立true && true
  • 整个条件结果是true，那么当前job才执行
condition: ${JobA:param1} == 1 && ${JobB:param2} > 5

举例：当前job的父 Job 至少一个成功才执行，当前job才被执行

condition: one_success

举例：

  • 当前job的所有父 Job 全部完成，成立（true）
  • JobC的输出参数param3的值不等于foo，成立(true)
  • 两个条件都成立true && true
  • 整个条件结果是true，那么当前job才执行
condition: all_done && ${JobC:param3} != "foo"

举例：

  • 根据{JobD:param4}、{JobE:parm5}、all_success、${JobF:parm6} == "bar"进行复杂的逻辑运算后
  • 如果最终结果是true
  • 那么，当前job才执行
condition: (!{JobD:param4} || !{JobE:parm5}) && all_success || ${JobF:parm6} == "bar"

flow文件mixtureCondition.flow，内容如下

nodes:
 - name: JobA
   type: command
   config:
     command: sh write_to_props.sh

 - name: JobB
   type: command
   dependsOn:
     - JobA
   config:
     command: echo “This is JobB.”
   condition: ${JobA:jobAParam1} == 1

 - name: JobC
   type: command
   dependsOn:
     - JobA
   config:
     command: echo “This is JobC.”
   condition: ${JobA:jobAParam1} == 2

 - name: JobD
   type: command
   dependsOn:
     - JobB
     - JobC
   config:
     command: pwd
   condition: one_success

write_to_props.sh内容如下

#!/bin/bash
echo '{"jobAParam1":"1"}' > $JOB_OUTPUT_PROP_FILE

将mixtureCondition.flow、flow20.project、write_to_props.sh打包生成zip

web ui创建项目、上传zip、执行flow

image-20210325171846367
image-20210325172014251

Views: 33

工作流调度 Azkaban 工作流-执行Java任务

执行Java任务

type 类型为 javaprocess的job，可以运行一个自定义Java类的main方法，可用的配置如下：

  • Xms：最小堆
  • Xmx：最大堆
  • classpath：类路径
  • java.class：要运行的 Java 对象，其中必须包含 Main 方法
  • main.args： main 方法的参数

案例：

  • 1、新建一个 azkaban 的 maven 工程
  • 2、创建包名： com.kkb.azkaban
  • 3、包中创建 JavaProcessTest 类
package com.kkb.azkaban;

public class JavaProcessTest {
  public static void main(String[] args) {
      System.out.println("This is " + args[0] + " javaprocess job type test!");
  }
}

image-20210323101748116

代码打包，生成jar包

image-20210323102431253

编写flow文件javaProcessTest.flow，内容如下

nodes:
- name: testJavaProcess
  type: javaprocess
  config:
    Xms: 96M
    Xmx: 200M
    java.class: com.kkb.azkaban.JavaProcessTest
    main.args: MyAzkaban

将jar包、flow文件、project文件压缩生成zip文件

web ui创建工程、上传zip、执行flow

image-20210323102717828

image-20210323102736081

image-20210323102811209

image-20210323102833439

image-20210323103156129

Views: 20

工作流调度 Azkaban 工作流 Flow2.0入门

Azkaban使用

  • azkaban 4.x目前同时支持flow1.0与flow 2.0；

  • 官网说flow 1.0将来会被淘汰，所以本文档使用flow 2.0

  • 如果对flow 1.0感兴趣的同学，可以参考文章自行学习体验

  • Azkaba内置的任务类型支持command、java

1. Flow 2.0

1. 入门例子Hello World
  • 在windows或mac中，创建文件flow20.project，内容如下
azkaban-flow-version: 2.0
  • 创建basic.flow文件，内容如下
nodes:
  - name: jobA
    type: command
    config:
      command: echo "Hello World! This is an flow 2.0 example."

文件中要有nodes的部分，包含所有你想要运行的job

需要为每个job指定name、type

大多的job需要config

  • 将两个文件压缩成一个zip包，比如起名叫Archive.zip
  • 使用如下账号信息登录azkaban
用户名：kkbrwe
密码：kkb123
  • 创建工程

image-20210322141552889

image-20210322142018917

  • 上传项目zip文件

image-20210322142113861

image-20210322142341264

  • 执行flow

image-20210322142430994

  • 弹出如下界面

image-20210322142502178

  • 下图Execution queued successfully with exec id 8表示，web server选择id是8的exec server执行此流

image-20210322143339338

  • 绿色表示执行成功；查看Job List

image-20210322143630353

  • 查看日志

image-20210322143732983

image-20210322144617008

2. 单job有多个command
  • flow中的一个job有多个command
nodes:
  - name: jobA
    type: command
    config:
      command: mkdir /export/servers/azkaban-exec-server-4.0.0/executions/test1
      command.1: mkdir /export/servers/azkaban-exec-server-4.0.0/executions/test2

第一个command用command表示

第二个用command.1表示

第三个用command.2表示，以此类推

  • 剩余步骤（图略）
    • 生成项目zip文件
    • web ui创建项目
    • 上传zip文件
    • 执行flow
    • 查看日志
3. 包含多个有依赖关系job的flow
  • job间可以相互依赖，创建flow文件dependon.flow，内容如下
nodes:
  - name: jobC
    type: noop
    # jobC depends on jobA and jobB
    dependsOn:
      - jobA
      - jobB

  - name: jobA
    type: command
    config:
      command: echo "This is echoed by jobA."

  - name: jobB
    type: command
    config:
      command: pwd

jobC依赖jobA、jobB

Noop: A job that takes no parameters and is essentially a null operation. Used for organizing your graph

  • 以下操作跟上边的例子入门例子Hello World相似
  • dependon.flow与flow20.project压缩生成zip文件dependon.zip
  • web server ui界面创建项目，然后上传项目zip文件，然后执行，并查看Job List及job日志

image-20210322150017462

image-20210322150045710

image-20210322150208386

image-20210322150248203

image-20210322150336657

image-20210322150354472

image-20210322163440111

image-20210322163511445

  • 以下是jobA日志

image-20210322163624172

  • 以下是jobB日志

image-20210322163705334

4. 自动失败重试案例
  • 如果job执行失败，可以配置成自动重试若干次，每次重试时间间隔一定时长
nodes:
  - name: JobA
    type: command
    config:
      command: sh /a_non_exists.sh
      retries: 3
      retry.backoff: 3000

说明：

/a_non_exists.sh是一个不存在的sh脚本

retries重试次数

retry.backoff每次重试的时间间隔，单位毫秒

  • 以下操作跟上边的例子入门例子Hello World相似

  • retry.flow与flow20.project压缩生成zip文件retry.zip

  • web server ui界面创建项目，然后上传项目zip文件，然后执行，并查看Job List及job日志

  • 部分截图略

image-20210322174226194

image-20210322174355462

image-20210322174542414

  • 日志

image-20210322174714763

  • 也可以在flow文件中，加入全局重试次数，此重试配置对flow文件中的所有job都生效；内容如下
config:
  retries: 3
  retry.backoff: 3000
nodes:
  - name: JobA
    type: command
    config:
      command: sh /a_non_exists.sh
5. 手动失败重试案例

  • 手动失败重试场景：

    • 对于某些flow中的失败job，不能通过自动重试解决的，比如并非一些系统短时的问题，比如暂时的网络故障导致的超时、暂时的资源不足导致的执行失败
    • 此时需要手动的做些处理后，然后再进行重新执行flow中job
    • 跳过成功的job
    • 从失败的job开始执行

  • 一个flow中，有5个job，有依赖关系如下

    • jobE依赖jobD；
    • jobD依赖jobC；
    • jobC依赖jobB
    • jobB依赖jobA

  • 创建flow文件manulretry.flow内容如下

nodes:
  - name: JobA
    type: command
    config:
      command: echo "This is JobA."
  - name: JobB
    type: command
    dependsOn:
      - JobA
    config:
      command: echo "This is JobB."
  - name: JobC
    type: command
    dependsOn:
      - JobB
    config:
      command: sh /export/servers/azkaban-exec-server-4.0.0/tmp.sh
  - name: JobD
    type: command
    dependsOn:
      - JobC
    config:
      command: echo "This is JobD."
  - name: JobE
    type: command
    dependsOn:
      - JobD
    config:
      command: echo "This is JobE."
  • 压缩生成zip包、web ui创建项目、上传zip、执行flow

image-20210322180735005

image-20210322182526429

image-20210322182828579

  • 查看jobC的日志

image-20210322182857657

  • 原因是没有找到下图的sh脚本文件

image-20210322182934940

  • 那么在对应的exec server的对应目录下创建此sh脚本文件

    • 由于不确定，flow重试时，web选择哪个exec执行flow，所以保险起见，有两个方法
    • 方法一：在3个exec节点中都创建tmp.sh脚本
    [hadoop@node01 azkaban-exec-server-4.0.0]$ cd
[hadoop@node01 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node01 azkaban-exec-server-4.0.0]$ vim tmp.sh

[hadoop@node02 azkaban-exec-server-4.0.0]$ cd
[hadoop@node02 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node02 azkaban-exec-server-4.0.0]$ vim tmp.sh

[hadoop@node03 azkaban-exec-server-4.0.0]$ cd
[hadoop@node03 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node03 azkaban-exec-server-4.0.0]$ vim tmp.sh
    • 脚本内容如下
    #!/bin/bash
echo 'this is echoed by tmp sh script'
    • 方法二：重试flow时，指定执行的executor（此处暂略，下文会提到用法）

image-20210322183719073

image-20210322183757554

  • 手动重试有两个方案
1、方案一

image-20210322183920014

image-20210322183949180

image-20210322184055962

image-20210322192509377

2、方案二

image-20210322192854089

image-20210322192916054

image-20210322193840468

image-20210322193906255

image-20210322194000248

Enable 和 Disable 下面都分别有如下参数：
Parents：该作业的上一个job
Ancestors：该作业前的所有job
Children：该作业后的一个job
Descendents：该作业后的所有job
Enable All： 所有的job

  • 可以根据实际情况选择enable方案
6. 操作HDFS
  • node01节点用root用户启动hadoop集群
[hadoop@node01 bin]$ su root
密码：
[root@node01 bin]#
[root@node01 bin]# cd
[root@node01 ~]# start-all.sh
  • 编写flow文件operateHdfs.flow，内容如下
nodes:
  - name: jobA
    type: command
    config:
      command: echo "start execute"
      command.1: /export/servers/hadoop-2.7.5/bin/hdfs dfs -mkdir /azkaban
      command.2: /export/servers/hadoop-2.7.5/bin/hdfs dfs -put /export/servers/hadoop-2.7.5/NOTICE.txt  /azkaban
  • 生成zip项目文件、web ui上传zip、执行flow
  • 查看HDFS结果

image-20210322230044128

7. MR任务
  • 记得启动hadoop的historyserver，否则执行mr项目时，job的日志会报如下类似错误日志
22-03-2021 23:17:23 CST jobMR INFO - 21/03/22 23:17:23 INFO impl.YarnClientImpl: Submitted application application_1616423563192_0001
22-03-2021 23:17:39 CST jobMR INFO - 21/03/22 23:17:39 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
22-03-2021 23:17:41 CST jobMR INFO - 21/03/22 23:17:41 INFO ipc.Client: Retrying connect to server: node01/192.168.77.30:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
22-03-2021 23:17:42 CST jobMR INFO - 21/03/22 23:17:42 INFO ipc.Client: Retrying connect to server: node01/192.168.77.30:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
22-03-2021 23:17:44 CST jobMR INFO - 21/03/22 23:17:44 INFO ipc.Client: Retrying connect to server: node01/192.168.77.30:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

192.168.77.30:10020 应该是hadoop集群的historyserver服务

  • 编写flow文件mr.flow，内容如下
nodes:
  - name: jobMR
    type: command
    config:
      command: /export/servers/hadoop-2.7.5/bin/hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 3 3
  • 为了避免执行mr过程中，对hdfs操作的一些权限问题
[hadoop@node01 azkaban-exec-server-4.0.0]$ su root
[root@node01 azkaban-exec-server-4.0.0]# hdfs dfs -chmod -R 777 /tmp/
  • 生成zip项目文件、web ui上传zip、执行flow
  • 查看结果

image-20210322232740822

  • 可以去yarn界面看看此job的执行情况

image-20210322233043321

8. Hive任务
  • 编写hive脚本文件hive.sql，内容如下
create database if not exists azhive;
use azhive;
create table if not exists aztest(id string,name string) row format delimited fields terminated by '\t';
  • flow文件hive.flow内容如下
nodes:
  - name: jobHive
    type: command
    config:
      command: /export/servers/apache-hive-3.1.2/bin/hive -f 'hive.sql'
  • 利用hive.sql、hive.flow、flow20.project生成zip项目文件、web ui上传zip、执行flow
1、自动选择exec执行失败
  • 部分截图如下

image-20210323093745783

image-20210323093810080

  • 执行失败
  • 查看Flow Log，发现选择的executor是node02；而node02上没有安装hive

image-20210323094018204

image-20210323094047720

image-20210323094139431

  • 所以最终执行失败
2、解决方案：指定executor
  • 官网提供说明：要指定执行flow的executor的话，azkaban用户必须拥有admin权限
  • 我们在安装azkaban web服务时，在文件中指定创建了拥有ADMIN权限的用户kkbadmin

image-20210325141446647

  • 接下来我们想用kkbadmin登录azkaban，并指定执行executor是node03(安装了hive的机器)
  • 那么，在此之前，得在node03创建用户kkbadmin，并且此用户属于node03的linux用户组myazkaban（参考创建kkbrwe的做法即可）
[hadoop@node03 ~]$ sudo groupadd kkbadmin
[sudo] hadoop 的密码：
[hadoop@node03 ~]$ sudo useradd -g myazkaban kkbadmin
[hadoop@node03 ~]$ sudo passwd kkbadmin
更改用户 kkbadmin 的密码 。
新的 密码：123456
无效的密码： 密码少于 8 个字符
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。
# 将kkbadmin添加附加用户组
[hadoop@node03 ~]$ sudo usermod -a -G hadoop kkbadmin
# 查看用户kkbadmin
[hadoop@node03 ~]$ sudo id kkbadmin
uid=1002(kkbadmin) gid=1001(myazkaban) 组=1001(myazkaban),1000(hadoop)
  • 如何解决？
    • 运行前，因为kkbrwe没有ADMIN权限，所以先退出登录web ui界面
    • 使用kkbadmin登录web ui界面
    • 创建项目、上传zip、执行flow并指定executor服务器是node03节点（安装了hive的节点）

image-20210325144925406

  • 指定flow参数

image-20210325145017038

image-20210323094813337

  • node03节点登录mysql查看executor都有哪些？
[hadoop@node03 bin]$ mysql -uroot -p
mysql> use azkaban;
mysql> select * from executors;
+----+--------+-------+--------+
| id | host   | port  | active |
+----+--------+-------+--------+
|  7 | node01 | 39689 |      1 |
|  8 | node02 | 42295 |      1 |
|  9 | node03 | 35891 |      1 |
+----+--------+-------+--------+
3 rows in set (0.00 sec)

  • 比如此时发现noded 03的id是9（根据自己的实际情况填写executor id）

  • 上边azkaban界面输入参数如下，然后执行

image-20210325145140803

image-20210325145224395

image-20210325145407014

  • 刷新页面，发现执行成功

image-20210325145551616

image-20210325145627876

Views: 26

工作流调度 Azkaban 简介和安装

工作流调度器azkaban

https://azkaban.readthedocs.io/en/latest/getStarted.html

一、课前准备

  1. 安装VMware虚拟化软件
  2. 安装CentOS 7虚拟机3个
  3. 安装3节点的hadoop集群
  4. 安装了hive
  5. 安装了zookeeper集群
  6. 安装了hbase集群

二、课堂主题

  1. azkaban架构
  2. azkaban运行模式
  3. azkaban安装部署
  4. azkaban使用

三、课堂目标

  1. 理解azkanban架构
  2. 完成azkaban安装部署
  3. 学会azkaban各种使用方式

四、知识要点

1. 概述

1. 为什么需要工作流调度系统

  • 一个完整的数据分析系统通常都是由大量任务单元组成：
    • shell脚本程序，java程序，mapreduce程序、hive脚本等
    • 各任务单元之间存在时间先后及前后依赖关系
    • 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
  • 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
    • 通过Hadoop先将原始数据同步到HDFS上；
    • 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
    • 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive宽表；
    • 将明细数据进行各种统计分析，得到结果报表信息；
    • 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

2. 工作流调度实现方式

  • 简单的任务调度：直接使用linux的crontab来定义；

  • 复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban、airflow、dophinschedule等

2. Azkaban介绍

  • Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流(work flow)内以一个特定的顺序运行一组工作和流程。

  • Azkaban定义了一种KV格式文件(properties)来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

  • 它有如下功能特点：

    • 提供功能清晰、简单易用的web UI界面

    • 方便上传工作流

    • 调度工作流

    • 能够杀死并重新启动工作流

    • 工作流和任务的日志记录和审计

    • 提供job配置文件快速建立任务和任务之间的关系

    • 提供模块化的可插拔机制，原生支持command、java、hive、hadoop

    • 安全性高：认证/授权(权限的工作)

    • 提供分布式的多个执行服务器executor

    • 提供conditional workflow工作流

3. azkaban的基本架构

img

  • Azkaban由三部分构成
    • 1、Azkaban Web Server
      提供了Web UI，是azkaban的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。
    • 2、Azkaban Executor Server
      负责具体的工作流和任务的调度提交
    • 3、Mysql
      用于保存项目、日志或者执行计划之类的信息

4. Azkaban架构的三种运行模式

1. solo server mode(单机模式）

  • solo server mode是azkaban的一个独立的实例

  • 易于安装：不需要安装mysql，它内置了H2数据库，作为它的底层持久化存储

  • 易于开始使用：管理服务器web server和执行服务器execute server都在一个进程中运行，任务量不大项目可以采用此模式

  • 包含azkaban所有的功能

  • 有兴趣的同学，可以参考官网文档

2. two server mode

  • web server 和 executor server运行在不同的进程
  • 数据库为mysql，管理服务器和执行服务器在不同进程
  • 这种模式下，管理服务器和执行服务器互不影响。

3. multiple executor mode

  • web server 和 executor server运行在不同的进程，executor server有多个
  • 该模式下，执行服务器和管理服务器分别部署，且执行服务器可以在不同服务器上有多个运行的实例。

5. Azkaban安装部署

1. 编译azkaban

建议：直接使用老师编译出来的安装包进行安装

所以“编译azkaban”这个步骤，可以做个了解即可，不用亲自动手编译

1、下载源码包

这里选用azkaban4.0.0这个版本的源码进行重新编译，编译完成之后得到我们需要的安装包，然后进行安装

注意：

  • 使用Gradle编译azkaban源码
  • 需要使用jdk1.8或更高的版本来进行编译
  • 先获得azkaban源码
  • 浏览器访问地址https://github.com/azkaban/azkaban/releases，

下载源码包

image-20210318164312734

  • 或者使用命令下载
cd /export/softwares/
wget https://github.com/azkaban/azkaban/archive/4.0.0.tar.gz
2、修改build.gradle

  • 将azkaban-4.0.0.tar.gz源码包上传到编译源码的虚拟机的/export/softwares目录，然后解压并编译

    提示：最好有一个虚拟机，专门用于编译各种框架的源码

# 切换到root用户
su root
cd /export/softwares/
tar -xzvf azkaban-4.0.0.tar.gz -C /export/servers/
cd /export/servers/azkaban-4.0.0/

使用gradle进行编译源码，此过程中

  • 需要去maven的仓库中下载各种jar包等文件，为了提高下载的速度，可以配置成从国内的maven仓库下载文件
  • 方法如下
vim /export/servers/azkaban-4.0.0/build.gradle

在如下2个位置添加maven仓库url

  maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}
  maven{ url 'http://maven.oschina.net/content/groups/public/'}

位置①

image-20210318170454256

位置②

image-20210318170325962

3、开始编译
cd /export/servers/azkaban-4.0.0
yum -y install git
yum -y install gcc-c++
./gradlew build installDist -x test

#开始下载，控制台会打印如下类似的日志
Downloading https://services.gradle.org/distributions/gradle-4.6-all.zip
..........
  • 编译成功

image-20210323145150033

编译之后，获得安装包如下

4、azkaban-exec-server

编译完成之后得到我们需要的安装包在以下目录下即可获取得到azkaban-exec-server存放目录

cd /export/servers/azkaban-4.0.0/azkaban-exec-server/build/distributions/
ll

image-20210318171406141

5、azkaban-web-server

azkaban-web-server存放目录

cd /export/servers/azkaban-4.0.0/azkaban-web-server/build/distributions/
ll

image-20210318171623513

6、azkaban-solo-server

azkaban-solo-server存放目录

cd /export/servers/azkaban-4.0.0/azkaban-solo-server/build/distributions/
ll

image-20210318171757237

7、execute-as-user.c

azkaban two server模式下需要的C程序在这个路径下面

cd /export/servers/azkaban-4.0.0/az-exec-util/src/main/c
ll

image-20210318171924253

8、数据库脚本文件

数据库脚本文件在这个路径下面

cd /export/servers/azkaban-4.0.0/azkaban-db/build/sql/
ll

image-20210318172146694

如果不想手动编译可以直接使用我这里编译好的文件，百度网盘链接：https://pan.baidu.com/s/14owbePcSBXBW_bwyLTVVNQ
提取码：NIIT

2. multiple executor模式安装

前提：某节点已经安装mysql，此文档以node03已经安装mysql为例

若没有特殊说明，所有操作都是使用hadoop普通用户操作

在node03节点操作

1. 确认所需软件：

Azkaban Web服务安装包

azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

Azkaban执行服务安装包

azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

编译之后的sql脚本

create-all-sql-0.1.0-SNAPSHOT.sql

C程序文件脚本

execute-as-user.c

将以上4个文件上传到node03的/export/softwares目录

2. 数据库准备

进入mysql的客户端执行以下命令

[hadoop@node03 ~]$ mysql -uroot -p123456

mysql中执行以下命令：

-- 设置密码的验证强度等级
set global validate_password_policy=LOW; 
set global validate_password_length=6;

-- 创建数据库azkaban，用于存储使用azkaban框架过程中产生的数据
CREATE DATABASE azkaban;
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';  
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' identified by 'azkaban' WITH GRANT OPTION;

flush privileges;
use azkaban; 
source /export/softwares/create-all-sql-0.1.0-SNAPSHOT.sql;
exit;

image-20210319102927859

更改 MySQL 包大小；防止 Azkaban 连接 MySQL 阻塞

hadoop@node03 ~]$ sudo vim /etc/my.cnf

在文件末尾增加如下内容；然后保存、退出

max_allowed_packet=1024M

image-20210319163143002

重启mysql服务

[hadoop@node03 sbin]$ sudo /sbin/service mysqld restart
# 输出如下日志
Redirecting to /bin/systemctl restart mysqld.service
3. 解压软件安装包

解压azkaban-web-server

[hadoop@node03 ~]$ cd
[hadoop@node03 ~]$ cd /export/softwares/
[hadoop@node03 softwares]$ tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers
[hadoop@node03 softwares]$ cd /export/servers
[hadoop@node03 servers]$ mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server-4.0.0

解压azkaban-exec-server

[hadoop@node03 servers]$ cd /export/softwares/
[hadoop@node03 softwares]$ tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers
[hadoop@node03 softwares]$ cd /export/servers
[hadoop@node03 servers]$ mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server-4.0.0
4. 安装SSL安全认证

安装ssl安全认证，允许我们使用https的方式访问我们的azkaban的web服务；

密码一定要一个个的字母输入，或者粘贴也行

[hadoop@node03 servers]$ cd /export/servers/azkaban-web-server-4.0.0
[hadoop@node03 azkaban-web-server-4.0.0]$ keytool -keystore keystore -alias jetty -genkeypair -keyalg RSA

具体输入如下：

  • 密码都是azkaban
  • 显示[Unknown]：直接敲回车
  • 显示[no]:输入yes，回车
  • jetty密码：azkaban

如果你的linux是中文环境

image-20210319161248569

如果是英文环境，上图中的“是”用“yes”代替
发现目录中多出一个秘钥文件keystore

[hadoop@node03 azkaban-web-server-4.0.0]$ pwd
/export/servers/azkaban-web-server-4.0.0
[hadoop@node03 azkaban-web-server-4.0.0]$ ls
bin  conf  keystore  lib  web

补充：keytool的用法

# keytool中有很多的cmd及option；查看keytool用法
[hadoop@node03 azkaban-web-server-4.0.0]$ man keytool

# 提示：搜索关键字，如-genkeypair

OPTION DEFAULTS
       The following examples show the defaults for various option values.
       -alias "mykey"
       -keystore <the file named .keystore in the user's home directory>
       -genkeypair 生成一个秘钥对（公钥、私钥）
       -keyalg RSA 指定使用某算法生成秘钥对
5. azkaban web server安装
1、修改azkaban-web-server

修改azkaban-web-server的配置文件

[hadoop@node03 azkaban-web-server-4.0.0]$ cd /export/servers/azkaban-web-server-4.0.0/conf
[hadoop@node03 conf]$ vim azkaban.properties

修改文件中的如下属性

# Azkaban Personalization Settings
azkaban.name=Azkaban
azkaban.label=My Azkaban
...

default.timezone.id=Asia/Shanghai
...

# Azkaban Jetty server properties.
jetty.use.ssl=true
...

# 新增内容
jetty.ssl.port=8443
jetty.keystore=/export/servers/azkaban-web-server-4.0.0/keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=/export/servers/azkaban-web-server-4.0.0/keystore
jetty.trustpassword=azkaban
...

mysql.host=node03
...

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明：

  • StaticRemainingFlowSize：正在排队的任务数；
  • CpuStatus： CPU 占用情况
  • MinimumFreeMemory：内存占用情况。 测试环境， 必须将 MinimumFreeMemory 删除掉，否则它会认为集群资源不够，不执行。

需要修改的项目如下图

image-20210319172111245

2、设置azkaban用户

文件/export/servers/azkaban-web-server-4.0.0/conf/azkaban.properties中默认有如下属性

user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

上边的XmlUserManager是azkaban内置的UserManager用户管理器

  • 当启动web server时，XmlUserManager读取上边配置文件azkaban.properties,然后解析azkaban-users.xml
  • 此xml文件中用来配置azkaban的用户、组、角色
  • 接下来编辑此xml文件，用来配置azkaban用户
  • 添加用户hadoop
[hadoop@node03 conf]$ pwd
/export/servers/azkaban-web-server-4.0.0/conf
[hadoop@node03 conf]$ vim azkaban-users.xml

内容如下(注意：在向内容拷贝到xml文件时，注意格式缩进)

  <user password="kkb123" roles="myread" username="kkbread"/>
  <user password="kkb123" roles="mywrite" username="kkbwrite"/>
  <user password="kkb123" roles="admin" username="kkbadmin"/>
  <user password="kkb123" roles="myread, mywrite" username="kkbrwe" groups="groupx"/>

  <group name="groupx" roles="myexe"/>

  <role name="myread" permissions="READ"/>
  <role name="mywrite" permissions="WRITE"/>
  <role name="myexe" permissions="EXECUTE"/>

image-20210319190544587

此文件格式解析，可以参考官网文档

user格式

Attributes Values Required?
username 登录用户名 The login username. 必须有
password 密码 The login password. 必须有
roles role角色，如果是多个角色的话，中间逗号分隔
Comma delimited list of roles that this user has.		 非必须
groups 用户所属组，如果是多个组，中间逗号分隔
Comma delimited list of groups that the users belongs to.		 非必须
proxy 代理 Comma delimited list of proxy users that this users can give to a project 非必须

group

Attributes Values Required?
name 组名 The group name 必须有
roles role角色，如果是多个角色的话，中间逗号分隔
Comma delimited list of roles that this user has.		 非必须

role

Attributes Values Required?
name role角色名称 The role name 必须有
permissions 权限，如果是多个权限的话，中间逗号分隔
Comma delimited list global permissions for the role		 必须有

可选的权限有

Permissions Values
ADMIN 管理员权限，拥有azkaban中所有的权限
Grants all access to everything in Azkaban.
READ 对每个project有只读权限
Gives users read only access to every project and their logs
WRITE 允许用户上传文件、修改job的properties、删除project
Allows users to upload files, change job properties or remove any project
EXECUTE 允许用户执行任何flow
Allows users to trigger the execution of any flow
SCHEDULE 允许用户给任意flow添加或移除指定的调度
Users can add or remove schedules for any flows
CREATEPROJECTS 如果创建project功能被锁死，有此权限的用户拥有创建project的权限
Allows users to create new projects if project creation is locked down

官网配置

6. azkaban executor server 安装
第一步：修改azkaban-exex-server配置文件

修改azkaban-exec-server的配置文件

[hadoop@node03 ~]$ cd /export/servers/azkaban-exec-server-4.0.0/conf
[hadoop@node03 conf]$ vim azkaban.properties
# Azkaban Personalization Settings
azkaban.name=Azkaban
azkaban.label=My Azkaban
...

default.timezone.id=Asia/Shanghai
...

jetty.use.ssl=true
......

# 新增内容 添加如下5行内容
jetty.keystore=/export/servers/azkaban-web-server-4.0.0/keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=/export/servers/azkaban-web-server-4.0.0/keystore
jetty.trustpassword=azkaban
...

# Where the Azkaban web server is located
azkaban.webserver.url=https://node03:8443
...

mysql.host=node03
...
第二步：添加插件

将我们编译后的C文件execute-as-user.c上传或拷贝到/export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes

[hadoop@node03 conf]$ cp /export/softwares/execute-as-user.c /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes/

然后执行以下命令生成execute-as-user

# 在线安装gcc-c++
[hadoop@node03 conf]$ sudo yum -y install gcc-c++
[hadoop@node03 conf]$ cd /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes
[hadoop@node03 jobtypes]$ gcc execute-as-user.c -o execute-as-user
# 添加root特权
[hadoop@node03 jobtypes]$ sudo chown root execute-as-user
[sudo] hadoop 的密码：
[hadoop@node03 jobtypes]$ sudo chmod 6050 execute-as-user

image-20210321122703300

备注：数字表示的权限为6050，那对应的字母表示是什么呢？

  • 第一数字6表示的是特殊权限6 = 4 + 2，即同时设置了SUID和SGID
  • 第二个数字0表示的所有者权限为0，字母表示为---，因为没有设置x权限, 特殊权限表示为大写字母S
  • 第三个数字为5 =4 + 1，设置了用户组权限为读（r）和执行（x），特殊权限表示为小写字母s
  • 第四个数字为0，字母表示为---

其实在UNIX的实现中，文件权限用12个二进制位表示，如果该位置上的值是1，表示有相应的权限：|

11 10 9  8  7  6  5  4  3  2  1  0
S  G  T  r  w  x  r  w  x  r  w  x

第11位为SUID（Set User ID）位，第10位为SGID（Set Group ID）位，第9位为sticky位，第8-0位对应于上面的三组rwx位。

-rwsr-xr-x的值为： 表示所属用户有特殊权限SUID

1 0 0 1 1 1 1 0 1 1 0 1

-rw-r-Sr--的值为： 表示所属用户组有特殊权限SGID

0 1 0 1 1 0 1 0 0 1 0 0

给文件加SUID和SUID的命令如下：

chmod u+s filename 设置SUID位

chmod u-s filename 去掉SUID设置

chmod g+s filename 设置SGID位

chmod g-s filename 去掉SGID设置

另外一种方法是chmod 接4位八进制表示法。

比如 chmod 6050 ，6050对应的2进制110 000 101 000

对应的是权限是 SG --- rx ---

就是用户组有读写权限，并且同时有用户和用户组的特殊权限

但是使用命令ll列出文件的权限表示是这样

--S r-s --- 这是因为其中S表示设置SUID，s表示设置SGID同时用户组有执行权限

SUID和SGID的作用：

随意设置会威胁到系统安全因此终端上显示成红色背景，特殊权限只在执行普通文件时生效。

比如本来是只有root用户才能执行的命令，加了SUID后,普通用户就可以像root一样用这个命令，权限提升了。上面是对于文件来说的，对于目录也差不多！

目录的S属性使得在该目录下创建的任何文件及子目录属于该目录所拥有的组，目录的T属性使得该目录的所有者及root才能删除该目录。还有对于s与S，设置SUID/SGID需要有运行权限，否则用ls -l后就会看到S,证明你所设置的SUID/SGID没有起作用。

第三步：修改配置文件

修改配置文件

[hadoop@node03 jobtypes]$ cd /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes
[hadoop@node03 jobtypes]$ vim commonprivate.properties

增加或修改如下内容

execute.as.user=true
azkaban.native.lib=/export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes
azkaban.group.name=myazkaban
memCheck.enabled=false
azkaban.native.lib=false

遇到报错Missing required property “azkaban.native.lib”的解决办法：/plugins/jobtypes 目录下修改commonprivate.properties配置文件，内容中添加：azkaban.native.lib=false。然后重启启动exec服务，并激活executor。

将exec拷贝到另外两个节点，并修改所属用户

[hadoop@node03 servers]$ cd /export/servers/
[hadoop@node03 servers]$ scp -r azkaban-exec-server-4.0.0/ root@node01:$PWD
[hadoop@node03 servers]$ scp -r azkaban-exec-server-4.0.0/ root@node02:$PWD

node01节点

[root@node01 ~]# su root
[root@node01 servers]# cd /export/servers/
[root@node01 servers]# chown -R hadoop:hadoop azkaban-exec-server-4.0.0/
[root@node01 servers]# su hadoop
[hadoop@node01 jobtypes]$ cd /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes
# 添加root特权
[hadoop@node01 jobtypes]$ sudo chown root execute-as-user
[sudo] hadoop 的密码：
[hadoop@node01 jobtypes]$ sudo chmod 6050 execute-as-user

node02节点

[hadoop@node02 ~]$ su root
密码：
[root@node02 servers]# cd /export/servers/
[root@node02 servers]# chown -R hadoop:hadoop azkaban-exec-server-4.0.0/

[root@node02 servers]# su hadoop
[hadoop@node02 jobtypes]$ cd /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes
# 添加root特权
[hadoop@node02 jobtypes]$ sudo chown root execute-as-user
[sudo] hadoop 的密码：
[hadoop@node02 jobtypes]$ sudo chmod 6050 execute-as-user
第四步：添加用户、用户组

web server

  • node03节点/export/servers/azkaban-web-server-4.0.0/conf/azkaban-users.xml中，添加了许多用户，如kkbread、kkbrwe等等
  • 登录web server时，就用这里指定的用户名、密码登录

image-20210323154047477

exec server

  • /export/servers/azkaban-exec-server-4.0.0/plugins/jobtypes/commonprivate.properties中
  • 属性execute.as.user=true表示，azkaban的登录用户，同时作为linux服务器的系统用户
  • 属性azkaban.group.name=myazkaban表示，这些azkaban用户（linux系统用户）都属于myazkaban用户组
  • 所以需要在3个exec服务器中，创建用户kkbrwe、用户组myazkaban
  • 并且用户kkbrwe属于用户组myazkaban
  • 为了解决权限问题，同时讲用户kkbrwe添加附属组hadoop中
  • 此处以kkbrwe用户为例（如果使用其他用户，按照此方式创建即可）具体命令如下
  • 三节点hadoop用户已经有sudoers权限
  • 三节点 node01、node02、node03都执行如下命令
sudo groupadd myazkaban
[sudo] hadoop 的密码：
sudo useradd -g myazkaban kkbrwe
sudo passwd kkbrwe
新的 密码：123456
重新输入新的密码：
# 将kkbrwe添加附加用户组
sudo usermod -a -G hadoop kkbrwe
# 查看用户kkbrwe
sudo id kkbrwe
uid=1001(kkbrwe) gid=1001(myazkaban) 组=1001(myazkaban),1000(hadoop)

exec服务器在执行flow时，会在/export/servers/azkaban-exec-server-4.0.0目录创建目录executions，为了解决权限问题，3台节点都需要做如下操作

node01节点

[hadoop@node01 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node01 azkaban-exec-server-4.0.0]$ mkdir executions
[hadoop@node01 azkaban-exec-server-4.0.0]$ sudo chown :myazkaban executions/

node02节点

[hadoop@node02 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node02 azkaban-exec-server-4.0.0]$ mkdir executions
[hadoop@node02 azkaban-exec-server-4.0.0]$ sudo chown :myazkaban executions/

node03节点

[hadoop@node03 ~]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node03 azkaban-exec-server-4.0.0]$ mkdir executions
[hadoop@node03 azkaban-exec-server-4.0.0]$ sudo chown :myazkaban executions/

说明：:myazkaban对应exec的commonprivate.properties的azkaban.group.name=myazkaban属性

7. 启动服务
第一步：启动azkaban exec server
  • node01节点上
[root@node01 servers]# cd /export/servers/
[root@node01 servers]# su hadoop
[hadoop@node01 servers]$ cd azkaban-exec-server-4.0.0/
[hadoop@node01 azkaban-exec-server-4.0.0]$ bin/start-exec.sh
[hadoop@node01 azkaban-exec-server-4.0.0]$ jps

image-20210321163632014

关闭exec server: bin/shutdown-exec.sh

第二步：激活我们的exec-server

  • 每次启动exec都需要激活

  • node01机器下执行以下命令

[hadoop@node01 azkaban-exec-server-4.0.0]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node01 azkaban-exec-server-4.0.0]$ curl -G "node01:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"}

image-20210321164134373

在node02上启动exec server并激活（同上）

[root@node02 servers]# cd /export/servers/
[root@node02 servers]# su hadoop
[hadoop@node02 servers]$ cd azkaban-exec-server-4.0.0/
[hadoop@node02 azkaban-exec-server-4.0.0]$ bin/start-exec.sh
[hadoop@node02 azkaban-exec-server-4.0.0]$ jps
[hadoop@node02 azkaban-exec-server-4.0.0]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node02 azkaban-exec-server-4.0.0]$ curl -G "node02:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"}

在node03上启动exec server并激活（同上）

[hadoop@node03 servers]$ cd /export/servers/
# 如果当前用户不是hadoop，则切换到hadoop；否则，可以省略此命令
[hadoop@node03 servers]$ su hadoop
密码：
[hadoop@node03 servers]$ cd azkaban-exec-server-4.0.0/
[hadoop@node03 azkaban-exec-server-4.0.0]$ bin/start-exec.sh
[hadoop@node03 azkaban-exec-server-4.0.0]$ jps
17203 AzkabanExecutorServer
17224 Jps
[hadoop@node03 azkaban-exec-server-4.0.0]$ cd /export/servers/azkaban-exec-server-4.0.0
[hadoop@node03 azkaban-exec-server-4.0.0]$ curl -G "node03:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"}

三个节点的exec server都启动后，可以去mysql中确认下，node03执行命令

[hadoop@node03 azkaban-web-server-4.0.0]$ mysql -uroot -p
Enter password:
mysql> use azkaban;
mysql> show tables;
mysql> select * from executors;
+----+--------+-------+--------+
| id | host   | port  | active |
+----+--------+-------+--------+
|  1 | node01 | 39157 |      1 |
|  2 | node02 | 41613 |      1 |
|  3 | node03 | 34589 |      1 |
+----+--------+-------+--------+
3 rows in set (0.00 sec)

发现，确实有3个exec server，active=1，表示已激活

也可以在MySQL中使用update语句设置active为1完成激活

第三步：启动azkaban-web-server
  • node03节点
[hadoop@node03 azkaban-exec-server-4.0.0]$ cd /export/servers/azkaban-web-server-4.0.0/
[hadoop@node03 azkaban-web-server-4.0.0]$ bin/start-web.sh
[hadoop@node03 azkaban-web-server-4.0.0]$ jps
17298 AzkabanWebServer
17203 AzkabanExecutorServer
17322 Jps

关闭web server命令：bin/shutdown-web.sh

注意，无论启动一定要在server根目录下使用相对命令的方式执行，如 bin/cmd，这是因为启动脚本中使用了相对路径读取权限相关的xml文件。

image-20210321164822923

宿主机浏览器访问地址：https://node03:8443

前提：宿主机的hosts文件中配置了node03 ip地址与主机名node03的映射，类似

image-20210321170137537

注意一定要使用https://协议访，问若浏览器界面出现类似情况，按图操作即可

image-20200803131019862

image-20200803131037682

image-20210322141415494

用户名和密码可以是node03的文件/export/servers/azkaban-web-server-4.0.0/conf中指定的用户名及密码，如下

比如此处使用用户kkbrwe，密码kkb123

image-20210321170311511

登录后，进入界面

image-20210322141507162

8. 修改linux的时区问题

之前在安装虚拟机时，已经设置时区为“亚洲/上海”所以不用担心时区问题，不需要修改时区

注：先配置好服务器节点上的时区

但是如果你的时区不是“亚洲/上海”，那么需要修改成此时区

确认时区；CST +0800表示时区是东八区（“亚洲/上海”）

[root@localhost azkaban-master]# date +"%Z %z"
CST +0800
  • 1、先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
  • 2、拷贝该时区文件，覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

Views: 52