Linux环境、伪分布式你还不会搭建吗？

1、安装VMware
2、在编辑里面找到虚拟网络编辑器
3、配置VNnet8的子网IP为192.168.59.0;子网掩码为：255.255.255.0
4、在文件中找到新建虚拟机，根据电脑配置创建新的虚拟机
5、修改主机名 vi /etc/sysconfig/network(bigdata-training01.huadian.com)
6、配置ip UI界面或 /vi /etc/sysconfig/network-scripts/ifcfg-eth0 （个人建议：IPv4 Setting 192.168.59.150 255.255.255.0192.168.59.2 8.8.8.8）
7、主机名映射 vi /etc/hosts 192.168.59.150 bigdata-training01.huadian.com bigdata-training01
8、测试 ping bigdata-training01.huadian.com
9、改Windows下的配置 C:\Windows\System32\drivers\etc\hosts 192.168.59.150 bigdata-training01.huadian.com bigdata-training01
10、可以运用远程连接工具 CRT、Xshell、notepad++
11、在root用户下配置普通用户具有sudo权限 visudo huadian ALL=(root) NOPASSWD:ALL
12、关闭防火墙当前关闭 sudo service iptables stop
13、检查是否关闭成功 sudo service iptables status
14、设置开机不启动 sudo service iptables off
15、检查设置是否成功 chkcomfig iptables --list
补充：关闭selinux
vi /etc/selinux/config
vi /etc/sysconfig/selinux
设置SELINUX=disabled 该设置必须重启才能生效

16、关闭虚拟机 init 0 / halt
17、虚拟机快照
18、开机工作
19、规划Linux系统的目录结构
20、以系统的/opt为主安装软件包
21、/opt
/datas 测试数据
/softwares 软件包，上传的软件包
/moduls 软件安装目录
/tools 开发的IDE及工具
22、将上述目录所有者改为huadian sudo chown huadian:huadian /datas /softwares /moduls /tools
23、安装JDK
24、查看系统自带的openjdk是否存在 sudo rpm -qa |grep java
25、卸载系统自带的openjdk sudo -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 \ tzdata-java-2012j-1.el6.noarch \ java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
26、下载Linux自带的上传和下载文件软件 sudo yum install -y lrzsz
27、rz 上传文件上传到当前执行rz命令的路径
28、sz 下载文件
29、正式安装JDK 注意：Linux安装JDK类似于Windows安装一个绿色版本软件直接解压，然后配置环境变量即可
30、使用rz将Windows下的JDK上传的Linux系统下/opt/softwares下
31、解压JDK到/opt/moduls下 tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/moduls/
32、配置环境变量 sudo vi /etc/profile
33、在最后面追加 #JAVA_HOME
export JAVA_HOME=/opt/moduls/jdk1.8.0_91
export PATH=${PATH}:${JAVA_HOME}/bin
34、使其生效 source /etc/profile
35、验证 java -version
36、虚拟机快照
37、伪分布式的安装
38、上传解压 hadoop-2.7.3.tar.gz
39、查看目录结构 ls/ll
40、删除 /bin /sbin share 下的*.cmd doc文件补充：查看JDK路径：echo ${JAVA_HOME}
41、修改三个模块的环境变量（*.evn） hadoop-env.sh、 yarn-env.sh、mapred-env.sh 将JAVA_HOME的路径改为现在的路径
42、添加可执行权限 chown u+x hadoop-env.sh yarn-env.sh mapred-env.sh
43、如果上述操作有误而导致权限问题 chown -R huadian:huadian hadoop......(出现权限问题的路径)
44、按照模块进行配置
45、common：
core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-training01.huadian.com:8020</value> //8020:HDFS的内部通信端口
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/moduls/hadoop-2.7.2/data/tmpData</value>
</property>
46、执行创建的临时目录
47、HDFS：
hdfs.site.xml

<property>
<name>dfs.replications</name>
<value>1</value>
</property>
48、slaves：
配置slaves文件，指定datanode运行在那些机器上
49、启动HDFS：
第一次使用文件系统，需要格式化。
-》格式系统
cd /opt/moduls/hadoop-2.7.3
bin/hdfs namenode -format(返回0 Exiting with status 0表示格式化成功)
-》启动和关闭
主节点
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh stop namenode
从节点
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh stop datanode
50、验证是否启动成功
方式一：jps / ps -ef |grep java
方式二：通过web界面查看 bigdata-training01.huadian.com:50070 //50070:HDFS的外部UI访问端口
60、虚拟机快照
61、测试HDFS cd /opt/moduls/hadoop-2.7.3/
帮助文档 bin/hdfs dfs
在HDFS下创建目录 bin/hdfs dfs -mkdir -p /datas
HDFS的文件系统目录和Linux目录结构类似命令也类似
上传文件 bin/hdfs dfs -put /opt/datas/input.data /datas/
查看文件内容 bin/hdfs dfs -text /datas/input.data 或 bin/hdfs dfs -cat /datas/input.data
下载文件 bin/hdfs dfs -get /datas/input.data ./
删除文件 bin/hdfs dfs -rm -r /datas/input.data
62、配置YARN
对于分布式资源管理和任务调度来说：哪些程序可以运行在YARN上
MapReduce
并行数据处理框架
spark
基于内存分布式处理框架
storm / flink
实时流式处理框架
TeZ
分析数据，比MapReduce快
主节点
resourceManager
从节点
nodeManager
需要修改的配置
yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata-training01.huadian.com</value>
</property>

<property>
<name>yarn.resourcemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
63、slaves文件因为用的是伪分布式，所有程序在一台机器上，所以前面已经配置过，就不用再次配置
64、启动
主节点：resourceManager
sbin/yarn-daemon.sh start resourcemanager
从节点：nodeManager
sbin/yarn-daemon.sh start nodemanager
65、MapReduce
并行计算框架（2.X）思想：分而治之
核心
Map 并行处理数据，将数据分割，一部分一部分的处理
Reduce 将Map的处理结果进行合并
配置
cd {Hadoop_Home}/etc/hadoop
cp mapred-site.xml.template mapred-site.xml

<property>
<name>mapreduce.farmework.name</name>
<value>yarn</value>
</property>
66.mapreduce程序运行在yarn上
通过经典程序案例：wordcount
Hadoop提到测试案例，
/opt/moduls/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
-》准备数据，数据是放到hdfs上的
-》提交运行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount //会报出需要传参数的错误
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /datas/input.data /output1
-》查看单词统计后的文件
bin/hdfs dfs -text (/output1/part-r-00000)根据自己的文件目录而定
67、配置历史服务器
查看监听已经运行完成的MapReduce任务的执行情况
配置mapred-site.xml

<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata-hpsk01.huadian.com:10020</value>
</property>
启动
sbin/mr-jobhistory-daemon.sh start historyserver
注意：在启动historyServer服务之前运行的job相关信息已经没了，只有后面运行的才有。
68、日志集聚功能
当MapReduce程序在YARN上运行完成之后，将产生日志文件上传到HDFS目录中，
以便后续查看。
yarn-site.xml

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
69、重启YARN和jobHistoryServer
------------------快照，克隆-------------------------
70、日志信息
{Hadoop_home}/logs
组件名称-用户名-服务名称-主机名
hadoop-huadian-datanode-bigdata-hpsk01.huadian.com.log
根据后缀名：
.log
程序启动相关信息会在里面，
进程启动失败
.out
程序运行相关的输出
system.out.print
system.out.error
怎么看：
tail -100f name

Linux环境、伪分布式你还不会搭建吗？

猜你喜欢