spark启动,启动hadoop关闭步骤

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

./bin/pysaprk --master local[4] 本地模式启动spark python语言的shell,4是4个线程
如果嫌运行日志显示太多,可以调整日志显示级别,找到日志文件修改,log4j。rootCategory=ERROR, console

exit() 退出pyspark shell

发布了25 篇原创文章 · 获赞 0 · 访问量 392

猜你喜欢

转载自blog.csdn.net/qq_45371603/article/details/104576334