제목 : 하둡 의사 분산 모드 구조
Quitters은 결코 이길 수상자는 종료하지 않습니다.
작동 환경 :
미러의 Ubuntu18.10 서버 버전 : Ubuntu18.10 - 라이브 서버 amd64.iso
오라클 VM 버추얼
시작하기 :
새로운 가상 머신 (물론 우분투의 최신 버전, 유용성을 개선하기 위해, 우리는 서버 에디션을 사용하는 것이 좋습니다입니다)
기본 모드 (네트워크 주소 변환) 또는 브리지 모드로 가상 머신의 네트워크 설정, NAT 모드를 사용하지 않는 것이 좋습니다
:( 자신을 설정할 수있는 가상 컴퓨터 호스트 포트를 포트 포워딩 설정, 그들은 다른 프로세스와 충돌하지 않는 수)
가. 호스트는 9000 가상 머신 (22) (SSH 링크 전용 포트, 염두에 두어야하는 것이 좋습니다)
B. 9001 호스트 가상 머신 8088 (하둡 검출 포트)
가상 컴퓨터를 시작하고 SSH 연결을 구성 :
명령을 입력 (시작 할 인터페이스를 권장하지 않음) 가상 머신을 시작 로컬 터미널을 엽니 다
$ ssh -p 9000 [email protected] # username是安装镜像是设置的用户名예를 선택 암호를 입력 할 수있는 지시를 따릅니다.
이유의 로컬 터미널을 선택 내 로컬 터미널이 더합니다 및 블랙 박스 체험의 시작보다 인터페이스를 사용자 정의 된 것은, 가까운 실제 운영 환경으로 좋은이됩니다
# hostname 配置 $ hostname bigdata-senior01.chybinmy.com # 临时修改，省去重启虚拟机 $ vim /etc/hostname # 永久修改，为以后着想 $ bigdata-senior01.chybinmy.com # 将里面的主机名改为bigdata-senior01.chybinmy.com # host 配置 $ ifconfig # 得到当前虚拟机网络地址(inet后面的第一个地址，假设为10.42.0.32) # 配置Host $ vim /etc/hosts $ 10.42.0.32 bigdata-senior01.chybinmy.com # 在文件尾部添加새로운 하둡 사용자 :
$ sudo adduser hadoop # 新建hadoop用户,根据提示输入密码하둡 사용자 전환 :
$ su hadoop새로운 폴더와 폴더 소유자는 하둡을 변경 :
$ sudo mkdir /opt/modules $ sudo chown -R hadoop:hadoop /opt/modulesJDK의 하둡 다운로드하고는 / 옵션 / 모듈 / 디렉토리에 복사 :
$ scp -P 9990 hadoop-2.9.2.tar.gz [email protected]:/opt/modules # jdk类似팁 : 여기에 파일을 전송하는 SFTP를 사용하여, 나는 ubuntu18.04 SFTP를 전송 함께 제공되는 파일 관리자를 사용합니다.
파일 압축 해제 (하둡 및 JDK)
$ tar -zxvf hadoop-2.9.2.tar.gz # jdk解压方法类似 # jdk 解压后如果虚拟机没有java环境的话， # 需要配置java环境，请自行配置！！！구성 하둡 :
. 환경 변수 :
$ vim /etc/profile $ export HADOOP_HOME="/opt/modules/hadoop-2.9.2" $ export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行：source /etc/profile 使得配置生效. B 인증 파라미터 :
$ echo $HADOOP_HOME # 值为：/opt/modules/hadoop-2.5.0. C JAVA_HOME 구성 매개 변수는 yarn-env.sh 파일을 mapred-env.sh을 hadoop-env.sh :
$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 修改JAVA_HOME参数为： $ export JAVA_HOME="/opt/modules/jdk1.8.0_181". D 배치 된 코어를 site.xml :
$ sudo vim ${HADOOP_HOME}/etc/hadoop/core-site.xml # 输入该命令# 在<configuration></cinfiguration>中添加以下内容 <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/data/tmp</value> </property>. E 임시 디렉토리를 만듭니다
$ sudo mkdir -p /opt/data/tmp # 创建目录 $ sudo chown -R hadoop:hadoop /opt/data/tmp # 改目录拥有者HDFS 구성 :
. 구성 HDFS-site.xml 파일 :
$ sudo vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml # 在<configuration></cinfiguration>中添加以下内容 <property> <name>dfs.replication</name> <value>1</value> </property>. B 형식 HDFS :
$ hdfs namenode -format # 格式化后，查看/opt/data/tmp目录下是否有dfs目录 # 如果有，说明格式化成功. C 테스트 결과 :
# 启动NameNode $ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode # 启动DataNode $ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode # 启动SecondaryNameNode $ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode # 再运行： $ jps # 如果有类似下面四条结果就是成功了： 3034 NameNode 3233 Jps 3193 SecondaryNameNode 3110 DataNode구성 YARN :
a. 배치 mapred-site.xml :
$ cp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml.template ${HADOOP_HOME}/etc/hadoop/mapred-site.xml $ sudo vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml # 在<configuration></cinfiguration>中添加以下内容 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>b. 배치 yarn-site.xml :
$ sudo vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml # 在<configuration></cinfiguration>中添加以下内容 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior01.chybinmy.com</value> </property>. C 시작 ResourceManager에 :
$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager. D nodemanager를 시작합니다 :
$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager. E 감지 :
# 再运行： $ jps # 如果有类似下面六条结果就是成功了： 3034 NameNode 4439 NodeManager 4197 ResourceManager 4543 Jps 3193 SecondaryNameNode 3110 DataNode성공적으로 의사 분산 하둡을 내장 있는지 확인 :
# YARN的Web客户端端口号是8088， # 因为我们设置了虚拟机的端口转发， # 所以只需要主机访问127.0.0.1:9001就可以查看 # 只要成功访问网站则说明搭建成功
경험을 구축 :
다시 시작이 하둡을 재 구축하기 위해 사용자를 삭제 제안하면 그들에게 더 나은, 가상 컴퓨터를 다시 시작하지 구축
가상 머신은 자바 환경을 구성되지 않은 경우에는 표준 새 번역이 명령 메시지를 표시하지 않습니다, 그래서 당신은 당신의 자바 환경을 예측하기 위해 가상 머신을 구성해야합니다
환경의 각 변형 한 결과, 원본은 / etc / 프로필 업데이트 구성을 사용하는 것이 바람직하다
당신은 $로 사용될 수있다 {HADOOP_HOME} / sbin에 / start_all.sh 빠른 시작 및 종료 빠르게 하둡 서비스 stop_all.sh에