flink 1.9 自编译 适配Hadoop3.X版本

                              

目录

编译准备

编译过程

1.flink-shaded

 2.flink

 

---

Flink 1.9本身只提供支持Hadoop  2.4.1,   2.6.5,    2.7.5,    2.8.3 的预编译安装包。如果想要flink on yarn（HDP3.1）,一定需要自己编译。

                              

编译准备

git

maven

jdk8或更高

编译过程

在编译flink之前需要先编译安装flink-shaded.然后再编译flink.因为flink依赖flink-shaded。

1.flink-shaded

git clone https://github.com/apache/flink-shaded.git

2.git checkout release-7.0   切换分支

3.mvn clean install -DskipTests -Dhadoop.version=3.1.1  -Drat.skip=true

    编译完成之后，对应的flink-shaded就安装在本地maven仓库了.

 2.flink

1.git clone https://github.com/apache/flink.git

2.git checkout release-1.9.1

3.mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dhadoop.version=3.1.1 -Pfast -Pinclude-hadoop

如此，大功告成。