SparkHiveContext和直接Spark读取hdfs上文件然后再分析效果区别

直接Spark读取hdfs上文件然后再分析快20倍

https://www.cnblogs.com/Kaivenblog/p/7777596.ht

hadoop-hbase-spark单机版安装

https://www.cnblogs.com/jixiangxiang/p/5520851.html

SSH的详细安装步骤及登录提示:connection refused的解决办法

https://blog.csdn.net/jayxujia123/article/details/34125791

hadoop2.6解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 问题

修改hadoop_env.sh头部添加了如下信息

https://blog.csdn.net/znb769525443/article/details/51507283

export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native/"

再次执行./start-dfs.sh

Linux下配置SSH服务,以用户名root,密码123456能够远程登录到你的主机

修改你的ssh配置文件，将其中的PermitRootLogin的参数设置为yes
配置文件路径如：/etc/ssh/sshd_config

重启ssh服务，命令如下：

/etc/init.d/sshd restart
或
/etc/init.d/ssh restart
然后修改root的密码（passwd），将密码修改为123456.

解决ssh localhost中root@localhost:要求输入密码问题（已经进行了无密码设置登录）

首先删除~/.ssh目录下的3个文件，如下

id_rsa

authorized_keys

id_rsa.pub

然后

exit 　　# 退出刚才的 ssh localhost
cd ~/.ssh/ 　　 # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa 　　 # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys 　　 # 加入授权

再次启动ssh localhost就行了,发现root不需要密码了

Hadoop,Spark,Hbase单机安装 SSH的详细安装步骤及登录提示:connection refused的解决办法 hadoop2.6解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 问题