첫째, 사업 구조
둘째, 전체 빅 데이터 아키텍처를 링크
셋째, 주류 프레임 워크
큰 데이터 프레임의 제 3.1 세대 : 충돌
3.2 계산 번째 세대 대형 데이터 프레임
3.3 계산 3 세대 높은 데이터 프레임 FLINK
클러스터 시작
포맷 클러스터
시작하기 하둡 클러스터를, 당신은 시작해야 HDFS 와 원사 두 개의 클러스터를.
참고 : 처음 시작 HDFS를 , 당신은 작동 포맷해야합니다. 때문에이 시간에 본질에 최대 청소 및 준비 작업의 일부이다 HDFS 물리적 또는 존재하지 않는가. 포맷 처음 시작 할 필요가 더 이상 필요 이후에만 작업을
실행 node01 다시
bin / hdfs namenode -format 혹자 bin / hadoop namenode -format
하나 개의 노드에 의해 시작 하나
마스터 노드에서 다음 명령 시작은 네임 노드를 HDFS :
hadoop-daemon.sh 시작 네임 노드
각 노드의 시작에서 다음 명령을 사용하여 HDFS 데이터 노드 :
hadoop-daemon.sh 시작 데이터 노드
마스터 노드에서 다음 명령 시작 YARN ResourceManager에 :
yarn-daemon.sh ResourceManager에 시작
在每个从节点上使用以下命令启动 YARN nodemanager：
yarn-daemon.sh start nodemanager
0以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。
脚本一键启动
如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
node01节点上执行以下命令
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/
sbin/start-dfs.sh
sbin/start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
停止集群：
sbin/stop-dfs.sh
sbin/stop-yarn.sh
浏览器查看启动页面
hdfs集群访问地址
http://192.168.52.100:50070/dfshealth.html#tab-overview
yarn集群访问地址
http://192.168.52.100:8088/cluster
jobhistory访问地址：
http://192.168.52.100:19888/jobhistory
我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程
所有机器查看进程脚本
在node01服务器的/home/hadoop/bin目录下创建文件xcall
[hadoop@node01 bin]$ cd ~/bin/
[hadoop@node01 bin]$ vim xcall
#添加以下内容
#!/bin/bash
params=$@
i=201
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
echo ============= node0$i $params =============
ssh node0$i "source /etc/profile;$params"
done
然后一键查看进程并分发该脚本
chmod 777 /home/hadoop/bin/xcall
xcall jps
xsync /home/hadoop/bin/xcall
一键启动hadoop集群的脚本
我们也可以创建一键启动hadoop的脚本，以后启动hadoop都可以通过一个脚本即可
在node01服务器的/home/hadoop/bin目录下创建脚本
[hadoop@node01 bin]$ cd /home/hadoop/bin/
[hadoop@node01 bin]$ vim hadoop.sh
#!/bin/bash
case $1 in
"start" ){
source /etc/profile;
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/start-dfs.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/start-yarn.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/mr-jobhistory-daemon.sh start historyserver
};;
"stop"){
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/stop-dfs.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/stop-yarn.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/mr-jobhistory-daemon.sh stop historyserver
};;
esac
修改脚本权限
[hadoop@node01 bin]$ chmod 777 hadoop.sh