hadoop及spark集群搭建后续

问题1：查看 jps，里面只有HQuorumPeer，没有 HRegionServer

查看logs，master rejected startup because clock is out of sync

原因：几台机器时间对不上

解决方法：将有问题机器的时间校正

date -s xx:xx:xx

然后重启regionserver 

hbase-daemon.sh --config /usr/local/hbase/hbase-conf start regionserver  

问题2：Spark webUI打不开

原因1：spark ui的默认端口是4040，然后被占用了就会顺序取+1的端口，当开了多个spark程序之后，当端口号加到了4045，在chrome浏览器里面就打不开了。会返回一个UNSAFE PORT的错误信息，
其实这是浏览器禁用了你访问这个端口，程序其实是正常运行的。因此建议手工指定spark.ui.port=4046在spark-defaults.conf配置文件中，
如果4046被占用了，就从4046开始往后+1，跳过4045这个端口，避免看不到spark ui界面的困扰。

原因2：sparksubmit进程没有运行，当sparksubmit停在运行时，4040端口也就关闭了

问题3：hadoop找不到外接磁盘阵列

原因：利用df命令检查linux服务器的文件系统的磁盘空间占用情况

系统显示文件系统/dev/sdb3已经挂到系统上了 ，在/home目录下

修改worker的配置文件vim hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data,file:/mnt/dfs/data</value>
</property>

然后再关闭datanode

    bin/hadoop-daemon.sh stop datanode

启动datanode

    hadoop-daemon.sh start datanode
最后在master节点上更新节点

    hdfs dfsadmin -refreshNodes

    yarn rmadmin -refreshNodes

利用hadoop dfsadmin -report查看集群状况，检查节点容量是否更新

问题4：python3操作hbase报错

anaconda3/lib/python3.5/site-packages/hbase/Hbase.py    except IOError, io:SyntaxError:invalid syntax

问题原因：python3与hbase语法不兼容

解决办法：首先要下载python3的Hbase文件,替换Hbase文件/anaconda3/lib/python3.5/site-packages/hbase/Hbase.py和ttypes.py
下载地址为:https://github.com/626626cdllp/infrastructure/tree/master/hbase

参考文献：

http://keren.iteye.com/blog/1613033

https://cloud.tencent.com/developer/article/1049221

https://blog.csdn.net/luanpeng825485697/article/details/81048468