Flink Yarn 模式启动 错误问题集锦

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yulei_qq/article/details/87773480

1、Yarn 模式启动找不到类的问题

Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 49 more

网上查阅资料说是:  解决办法是把flink-shade-hadoop2 pom文件里hadoop-yarn-common 这个依赖对于jersey-core的exclusion取消

然后重新mvn 编译。 也可以直接把对应的jar  复制到flink 部署的lib 目录下.

2、建立了flink用户，在flink用户下启动Flink 报权限问题

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): 
Permission denied: user=flink, access=WRITE, 
inode="/user/flink/.flink/application_1550483325104_0004/log4j.properties":hdfs:hdfs:drwxr-
xr-x

切换到hdfs 用户下执行.  或者执行如下命令：

hdfs dfs -mkdir   /user/flink

hdfs dfs -chown flink:hdfs   /user/flink

然后在flink 用户下以yarn 模式启动flink 集群.

./bin/yarn-session.sh -n 3  -jm 2048  -tm 8192 -s 8