flink问题汇总

1 写文件系统

1 本地运行, 写出parquet报错, 而json没有问题

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

2 flink输出日志设置

1. 无法加载类

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

https://blog.csdn.net/qq_35779738/article/details/116935467

2. 日志级别: https://blog.csdn.net/zhailihua/article/details/80383195

3 flink写出数据量异常

3.1 写出数据量剧增

1 kafka设置的offset问题

扫描二维码关注公众号，回复： 15068856 查看本文章

offset设置成了earliest-offset, checkpoint失效读取了历史数据

4 多sink写出

带webui的本地执行环境, 不能运行多个kafka的sink;

5 其它

1. Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArr

pom.xml文件引入的scala版本和idea下载的scala版本不一样

---