vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接
搭建和费劲，这里先踩踩坑，以后也少遇到些问题，搭建也顺利，有兴趣的， 需谨慎
最近要上Hadoop 了，这里稍微总结下 hadoop 开发环境，因为不是边操作，边写博客，可能没那么细，之后有机会搭建，会重新补全，
但是这里会列出安装过程中遇到都问题与解决方案
vmare ubuntu 安装
1、安装vmare：
这个给出网址：请参照：Vmare安装
注意 注册码：1F04Z-6D111-7Z029-AV0Q4-3AEH8/
可能遇到问题：
解决办法：
关掉防火墙 一类安全软件
如果参考此教程安装不成功怎么办 用最新的vmare 再参考教程安装
如果安装不成功考虑用最新版VMware试试
VMware 2017 v14.x 永久许可证激活密钥
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD
我之前采用的是12.x安装各种问题，纠结了两天实在搞不得，换14.x
2、下载ubuntu：ubuntu下载
3、vmare 下安装ubuntu :
给出网址：Vmare下安装ubuntu
没啥说都，重点说是可能遇到的问题：
问题：
在Vmware里安装完Ubuntu16.10，启动时出现'SMBus Host Controller not enabled'错误提示，进不到图形界面。
网上搜了一下，解决办法是在图形界面里进终端窗口，编辑blacklist.conf文件，禁止i2c_piix4驱动的加载。
但现在系统还没加载完，进不去终端窗口，如何处理呢？
解决办法如下（亲测可用）：
在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法：
1.在启动Ubuntu的时候按住左Shift键；
2.Ubuntu开机时将显示GRUB启动选项；
3.接下来选择Ubuntu的高级选项（Advanced options for Ubuntu）；
4.然后进入Ubuntu的恢复模式（Ubuntu, with Linux 4.7.x.x-generic (recovery mode)）；
5.在Recovery Menu中选择root进入root shell；
6.输入如下命令：
代码:
mount -o remount,rw /7.打开blacklist.conf
代码:
vi /etc/modprobe.d/blacklist.conf
8.在文件最后添加一行
代码:
blacklist intel_powerclamp
9.重启
代码:
reboot上面解决不了：
解决办法2：
piix4_smbus ****host smbus controller not enabled
解决方法：
#root@Nagios ~# lsmod | grep i2c_piix4
i2c_piix4 12574 0
i2c_core 31274 1 i2c_piix4
#root@Nagios ~:vi /etc/modprobe.d/blacklist.conf
blacklist i2c_piix4
#root@Nagios ~:reboot
安装完成之后： 会发现屏幕太小：
如何解决：
安装Vmare Tool:安装VMareTool
操作就不细说：因为我这已经安装了，如果没安装，会有安装VmareTool 提示：
安装搜狗输入法：搜狗输入法安装
1、如下
2. 等一会之后 ubuntu 界面上 会出现 Vmare 驱动器之类的 ：Vmtool安装
要注意的问题是吧驱动器里面都tar.gz 赋值到桌面后解压
然后 运行 ：
vmware-install.pl进行安装。
就可以解决自适应本地屏幕大小都问题。
如果还有问题：
vmare 安装Ubuntu无法进入安装界面
解决办法：
以管理身份打开cmd窗口 运行： netsh winsock reset , 重启系统生效，之后就可以进入安装界面了
如果一台机器上的Winsock协议配置有问题的话将会导致网络连接等问题，就需要用netsh winsock reset命令来重置Winsock目录借以恢复网络。这个命令可以重新初始化网络环境，以解决由于软件冲突、病毒原因造成的参数错误问题
如果还是不行 https://jingyan.baidu.com/article/0320e2c1ef9f6c1b87507bf6.html点击打开链接
检查下workStation版本选的啥 ubuntu 16.04 WorkStation 选择10 即可兼容 11
不要安装虚拟机过程中插U盘
ubuntu 安装 hadoop
环境好了：ubuntu 安装hadoop:ubuntu安装hadoop
Jdk地址：JDK地址 我这里下载jdk 1.8 1.6 与1.8区别，有时间会总结
hadoop下载地址：hadoop下载 这里下载 2.7.3
问题处理：
ubuntu安装openssh-server 报依赖错误的解决过程
下列软件包有未满足的依赖关系：
openssh-server
: 依赖: openssh-client (= 1:6.6p1-2ubuntu1)
E:
无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。
sudo apt-get install openssh-client=1:6.6p1-2ubuntu1问题处理1： Vmare ubuntu 这个IP改成虚拟机真实的
#127.0.0.1 localhost
#127.0.1.1 wangxiaoming-virtual-machine
192.168.204.128 localhost
192.168.204.128 wangxiaoming-virtual-machine
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
根据上面的连接会安装成功：但是也有问题 hadoop shell 命令：hadoop shell 命令
正确应该是：
hdfs dfs -mkdir -p /user/hadoop-p 前面少了 -mkdir
mkdir 是创建文件夹，如果你想看你创建都文件夹，进行如下操作：hdfs dfs -ls /user/ 这个注意 最后使用绝对路径， 否则或包车，no directory
eclipse 配置hadoop 博主eclipse 版本是4.4.1
eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop
如果你不想用ant 去编译 githup 上hadoop 源码的话：
需要几个文件：
hadoop- eclipse 插件：hadoop eclipse 插件
下载之后放到eclipse 下eclipse plugins 文件夹下
把下载的Hadoop 2.7.3 在 Windows上解压后，参照博客：hadoop配置eclipse
重启eclipse ，你的eclipse 出现map reduce 表示成功。
到 下载：
具体操作，见博客：dll文件放置
除了这个配置，还要讲hadoop.dll 放到 system32 下
否则会报错：
D:\tmp\hadoop-DELL\mapred\staging\DELL6563393 null配置eclipse:eclipse 配置
简明eclipse hadoop配置：简明hadoop配置
具体我就不说了：
搭建好了可看下：
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount input output <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hadoop="http://www.springframework.org/schema/hadoop"
xsi:schemaLocation="http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd
http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.1.xsd">
<!-- 配置Configuration file-system-uri="${hd.fs}" -->
<hadoop:configuration id="configuration" resources ="file:/CPCN/Payment/StatementExternalBatch/config/core-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/hdfs-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml"/>
<!-- 配置FileSystem uri="${hd.fs}"-->
<hadoop:file-system user="${hd.user}" id="fileSystem" configuration-ref="configuration" />
<!-- 原始Bean的注入方式 这个方式无法设置uri 会导致一file not exit -->
<!-- <bean id="configuration" class="org.apache.hadoop.conf.Configuration">
</bean> -->
<!-- <bean id="fileSystem" class="org.apache.hadoop.fs.FileSystem" factory-method="get>
<constructor-arg name="uri" value="${hd.fs}"/>
<constructor-arg name="conf" ref="configuration"/>
<constructor-arg name="user" value="hadoop"/>
</bean> -->
<bean id="smartDfs" class="cpcn.payment.tool.lang.hdfs.SmartDfs">
<property name="fileSystem" ref="fileSystem" />
</bean>
</beans> 去掉
file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml
给个demo吧：
看我的配置
其次：
core-site.xml 不用localhosy 用：
具体ip 从哪来 自己 ifconfig ，我这个就不细说了 考虑安全问题，我就不贴图了
eclispse中配置：
配置2：
上面hadoop.tmp.dir 中 和core-site.xml 配置一样
hdfs-site.xml 配置：
到此就结了，可能细化要分成好几篇才能写完，大致粗的描述下。