anaconda pyspark 用着用着在终端出现错误ERROR SparkContext: Error initializing SparkContext

之前一直是可以使用anaconda pyspark,今天重新运行原来已有的模块时,出现错误:“spark"模块没有定义。于是用sc.master试试有没有出错,仍旧出错。
终端日志:其实有好大一串,我就复制了下面一点

ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the servic

然后到网上搜,看到可能是网络地址的原因,于是用ifconfig查看此虚拟机的地址,发现由原来的192.168.127.130变为了192.168.127.133
于是在/etc/host文件修改地址
最后在终端输入

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

之前的错误解决了。

猜你喜欢

转载自blog.csdn.net/weixin_37353303/article/details/83817860
今日推荐