前言

使用教程

搭建一个az

完成一个复杂的azkaban使用案例，结构图如下

在这里插入图片描述

任务描述

job1：使用az框架传参，打印任务准备开始！
job2：依赖于job1，在本地创建一个目录名字叫做inputwc！
job3：依赖于job2，利用hive查询结果并输出到指定目录下的指定文件里
job4：依赖于job2，调用自定义java程序生成一个文件，内容是职业名称并用制表符隔开！
job5：依赖于job3，job4，将java程序输出的结果追加到hive查询结果里！
job6：依赖于job5，将生成的inputwc目录上传到hdfs上！
job7：调用wordcount 来统计职业出现的次数！

结果预期

在这里插入图片描述

代码展示

java代码

package com.zhengkw.azkaban;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @ClassName:AzkabanTest
 * @author: zhengkw
 * @description: 输出用制表符隔开的字符串
 * @date: 20/03/19下午 3:45
 * @version:1.0
 * @since: jdk 1.8
 */
public class AzkabanTest {
    public static void main(String[] args) {
        FileOutputStream fos = null;
        try {
            fos = new FileOutputStream("/home/zhengkw/inputwc/hi.txt");
            String words = "teachter" + "\t" + "doctor" + "\t" + "driver"
                    + "\t" + "doctor" + "\t" + "driver" + "\t" + "doctor" + "\t" + "driver";
            fos.write(words.getBytes());

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                if (fos != null) {
                    fos.close();
                }

            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

job代码

job1

#first.job
type=command
command=echo ${param}

job2

type=command
dependencies=job1
command= mkdir -p /home/zhengkw/inputwc

job3

type=command
dependencies=job1,job2
command=bash -c "hive -e 'select job from zhengkw.emp' > /home/zhengkw/inputwc/emp.txt"

job4

type=javaprocess
denpendencies=job2
java.class=com.zhengkw.azkaban.AzkabanTest
classpath=/home/zhengkw/jar/*

java.class 要使用全类名！！！

job5

type=command
dependencies=job4,job3
command= bash -c 'cat /home/zhengkw/inputwc/hi.txt >> /home/zhengkw/inputwc/emp.txt'

job6

type=command
dependencies=job5
command= bash -c 'hadoop fs -put /home/zhengkw/inputwc /'

job7

type=command
dependencies=job6
command= bash -c 'hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /inputwc /azout'

注意事项

java程序打包以后放到指定位置，job里面必须指定！classpath后面的参数为jar的路径！！java.class参数必须是全类名！！！
job的文件类型是 *.* ！而且结尾必须是.job!!!
打包选择zip格式，其他格式不支持！后缀为zip但是格式rar的依然不识别！

其他功能展示

定时任务

在这里插入图片描述

选择东8区
选择第一次执行日期和时间！
checkbox勾选代表需要定时执行，selectlist里面选择单位，input框里面输入数字！
关键的一点！！！如果执行定时任务需要传参数，请在输入参数之后再进入定时调度选项，选项在右下角的schedule！
一定先输入参数！！！ 一定先输入参数！！！ 一定先输入参数！！！