版权声明：1911907658 https://blog.csdn.net/qq_33598343/article/details/84673246
使用azkaban在hdfs创建一个文件夹
- 创建一个文本编辑
type:command
command=/opt/hadoop/hadoop-2.8.4/bin/hdfs dfs -mkdir /azkaban
保存，把文件名改成 hdfs.job
压缩成zip格式的压缩包 - 在azkaban的web界面下，创建项目，项目名为hdfs
upload hdfs.job
当任务变绿后，说明执行成功，hdfs成功创建了azkaban这个目录
使用azkaban启动多个任务
1)写两个文本，分布
test:
type=command
command=echo ‘haha’
tt:
type=command
dependencies=test
command=echo “miemie”
在tt这里通过dependencies指定依赖于谁，按顺序执行
2)打包提交到azkaban
3)先执行 test
再执行 tt
用azkaban启动hdfs和yarn
starthdfs.job:
type:command
command= /opt/hadoop/hadoop-2.8.4/sbin/start-dfs.sh
startyarn.job:
type=command
dependencies=starthdfs
command=/opt/hadoop/hadoop-2.8.4/sbin/start-yarn.sh
用azkaban完成hive任务
创建一个表，读入本地文件，并计算有多少条记录然后输出到本地文件
hivef.job：
type=command
command=/opt/hive/hive/bin/hive -f 'hive.sql'
hive.sql：
use default;
drop table testazk;
create table testazk(id int,name string)
row format
delimited fields
terminated by '\t';
load data local inpath '/root/itstar.txt' into table testazk;
create table atestazk as select * from testazk;
insert overwrite local directory '/root/data' select count(*) from testazk;
用azkaban完成mapreduce任务
mr.job:
type=command
command=/opt/hadoop/hadoop-2.8.4/bin/hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /azwc/in /azwc/out
hadoop-mapreduce-examples-2.8.4.jar
把这两个一起打包上传