将SPARK启动和运行时的一些INFO信息过滤掉

场景一：windows平台上Intellij IDEA运行spark

  打开spark安装目录下的conf 文件夹 D:\soft\spark\conf ，

将log4j.properties.template  复制重命名为log4j.properties，将其中的INFO修改为WARN(第二行位置) 后，只显示WARN和ERROR信息。将log4j.properties直接放至/src/main/resources/下，就可以了。

场景二 linux 环境下运行spark

1. cd $SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties

[plain]  view plain  copy

1. $ cp log4j.properties.template log4j.properties  

2. 进入log4j.properties文件，将其中的INFO修改为WARN(第二行位置) 后，只显示WARN和ERROR信息。

[plain]  view plain  copy

1. # Set everything to be logged to the console  
2. log4j.rootCategory=WARN, console  
3. log4j.appender.console=org.apache.log4j.ConsoleAppender  
4. log4j.appender.console.target=System.err  
5. log4j.appender.console.layout=org.apache.log4j.PatternLayout  
6. log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n  
7.   
8. # Settings to quiet third party logs that are too verbose  
9. log4j.logger.org.spark-project.jetty=WARN  
10. log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR  
11. log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO  
12. log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO  
13. log4j.logger.org.apache.parquet=ERROR  
14. log4j.logger.parquet=ERROR  
15.   
16. # SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support  
17. log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL  
18. log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR