관련 소프트웨어 다운로드 링크:
Xshell: 가정/학교용 무료 - NetSarang Website
Xftp: 가정/학교용 무료 - NetSarang Website
Xshell 및 Xftp 공식 웹사이트: XSHELL - NetSarang Website
Jdk: Baidu 네트워크 디스크, 추출 코드를 입력하세요 추출 코드: jdhp
Hadoop: Baidu 네트워크 디스크, 추출 코드를 입력하세요 추출 코드: jdhp
좋은 가상 머신 및 관련 환경을 구성해야 하는 경우 내 기사를 클릭하여 얻을 수 있습니다. Hadoop 빅 데이터 플랫폼 구축 환경은 가상 머신 관련 구성을 제공합니다.
1. 원본 가상 머신을 기반으로 두 개의 가상 머신 복제
(1) 가상 머신을 마우스 오른쪽 버튼으로 클릭하고 관리를 클릭한 다음 복제를 클릭하고 이 단계를 두 번 반복합니다.
(2) 복제된 머신의 IP 주소가 원본 가상 머신의 IP 주소와 다른지 확인하고, 다를 경우 수정이 필요하며, 여기서는 복제 시 IP 주소가 자동으로 변경되므로 따로 추가할 필요가 없습니다. 그것을 수정하십시오.
2. 머신 이름 수정
(1) 아래 그림의 빨간색 화살표에 수정된 이름을 입력합니다: stu2
명령: vi /etc/hostname
(2) 다른 두 가상 머신에 대해 동일한 작업을 수행합니다.
(3) 세 개의 가상 머신을 다시 시작합니다.
명령: 재부팅
변경 후 세 가상 머신의 이름은 stu, stu2, stu3입니다.
3. 방화벽 끄기
(1) 방화벽이 닫혀 있는지 확인
원래 가상 머신의 방화벽이 꺼져 있으므로 다른 두 클론의 방화벽도 꺼져 있습니다.
4. 비밀번호 없는 로그인을 위해 3개의 호스트 구성
(1) 먼저 stu(stu2, stu3)에서 ssh 키 생성
명령: ssh-keygen -t rsa
Enter를 누르고 다음 프롬프트에서 Enter를 계속 누르십시오. 내용을 입력할 필요가 없습니다.
스튜:
방2:
스투3:
다음 두 개의 주요 파일이 홈 디렉토리 아래의 .ssh 디렉토리에 나타납니다.
스투：
방2：
스투3:
(2) stu(stu2, stu3) 머신에서 디렉터리를 .ssh 디렉터리로 전환합니다.
명령: cd ~/.ssh
(3) .ssh 디렉토리에 새 authorized_keys 파일을 생성합니다.
명령: Authorized_keys 터치
(4) id_rsa.pub 파일의 내용을 authorized_keys 파일에 복사합니다.
명령: cat id_rsa.pub >> authorized_keys
(5) authorized_keys 파일의 내용 보기
지침: cat authorized_keys
(6) stu의 .ssh 디렉토리에 있는 authorized_keys 파일을 stu2의 해당 디렉토리로 보냅니다.
명령: scp authorized_keys 192.168.80.129:$PWD
프롬프트 뒤에 yes를 입력하고 Enter 키를 누릅니다.
그런 다음 비밀번호를 입력하고 Enter를 눌러 전송을 완료하십시오.
(7) stu2 머신으로 전환하고 ~/.ssh 디렉토리를 입력합니다.
명령: cd ~/.ssh
(8) stu2의 .ssh 디렉토리에 있는 id_rsa.pub 파일의 내용을 authorized_keys 파일에 복사합니다.
명령: cat id_rsa.pub >> authorized_keys
(9) stu2의 .ssh 디렉토리에 있는 authorized_keys 파일을 stu3의 해당 디렉토리로 보냅니다.
명령: scp authorized_keys 192.168.80.130:$PWD
프롬프트에 yes를 입력하고 Enter 키를 누른 다음 비밀번호를 입력합니다.
(10) stu3 머신으로 전환하고 ~/.ssh 디렉토리를 입력합니다.
명령: cd ~/.ssh
(11) stu3의 .ssh 디렉토리에 있는 id_rsa.pub 파일의 내용을 authorized_keys 파일에 복사합니다.
명령: cat id_rsa.pub >> authorized_keys
(12) stu3의 .ssh 디렉토리에 있는 authorized_keys 파일을 stu1 및 stu2로 반환합니다.
명령: scp authorized_keys 192.168.80.128:$PWD
scp authorized_keys 192.168.80.129:$PWD
(13) 검증(stu)
명령: SSH 192.168.80.130
5. 호스트 이름과 IP 주소 간의 매핑 설정
(1) /etc/hosts 파일 열기(stu에서)
명령: vi /etc/hosts
파일에 다음을 추가합니다.
192.168.80.128 스투
192.168.80.129 스투2
192.168.80.130 스투3
수정 후 ESC 키를 눌러 저장 후 종료
(2) stu에 있는 /etc/hosts 파일을 각각 stu2와 stu3에 배포합니다.
명령: scp /etc/hosts 192.168.180.129:/etc/
scp /etc/호스트 192.168.180.130:/etc/
(3) 검증, stu2 및 stu3에 대한 ping
명령: 핑 192.168.80.129
명령: 핑 192.168.80.130
6. JDK 설치(세 머신 모두 JDK를 설치해야 합니다. stu를 예로 들겠습니다. 다른 두 작업은 동일합니다.)
(1) 먼저 시스템이 JDK와 함께 제공되는지 확인하십시오.
명령: rpm -qa | grep jdk
(2) xftp 소프트웨어를 사용하여 jdk를 사용자의 Linux 홈 디렉토리에 업로드합니다.
(3) 루트 디렉토리 아래에 서버 소프트웨어 서비스 디렉토리 생성
명령: mkdir -p /exports/servers
(4) 홈 디렉토리에 있는 jdk를 /exports/servers 디렉토리에 압축 해제합니다.
명령: tar -zxvf jdk-11.0.7_linux-x64_bin.tar.gz -C /exports/servers
(5) /exports/servers 디렉토리에 압축 해제된 파일이 있는지 확인
명령: ls /exports/servers
(6) 환경변수 설정
1) JDK의 루트 디렉터리를 복사하고 디렉터리를 JDK의 루트 디렉터리로 전환합니다.
명령: cd /exports/servers/jdk-11.0.7/
2) 나타나는 경로를 복사하십시오.
명령어: pwd
3) 환경 변수 구성 파일 열기
명령: vi /etc/profile
4) 파일 끝에 다음을 추가합니다.
내보내기 JAVA_HOME=/exports/servers/jdk-11.0.7
내보내기 경로=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
5) 저장 및 종료
(6) 구성 파일을 다시 시작하고 환경 변수가 성공적으로 구성되었는지 확인하십시오.
지침: source /etc/profile
명령: java -version
(7) stu에 있는 /exports 디렉토리의 내용을 각각 stu2와 stu3으로 전송합니다.
명령: scp -r /exports stu2:/
scp -r /exports stu3:/
(8) stu의 /etc/profile 환경 변수 구성 파일을 각각 stu2와 stu3으로 보냅니다.
지침: scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
(9) stu2 및 stu3에서 각각 source /etc/profile 명령을 실행합니다.
(10) stu2 및 stu3의 환경 변수가 성공적으로 구성되었는지 확인
방2：
스투3:
7. Hadoop 설치(세 머신 모두 Hadoop을 설치해야 합니다. 작업은 동일합니다. 예를 들어 stu 작업을 수행합니다.)
(1) 전송 소프트웨어를 통해 hadoop-2.7.2.tar.gz를 stu의 루트 홈 디렉토리에 업로드합니다.
(2) /exports/servers 디렉토리에 hadoop-2.7.2.tar.gz의 압축을 풉니다.
명령: tar -zxvf hadoop-2.7.2.tar.gz -C /exports/servers/
(3) /exports/servers/hadoop-2.7.2 디렉토리로 전환
명령: cd /exports/servers/hadoop-2.7.2
(4) Hadoop의 루트 디렉토리 아래에 새로운 datas 디렉토리를 생성합니다.
명령: mkdir 데이터
(5) 하둡 구성
etc/hadoop 디렉토리를 입력하십시오.
명령: cd /exports/servers/hadoop-2.7.2/etc/hadoop/
다음 디렉토리를 차례로 수정하십시오: hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml 및 슬레이브 파일:
- 주로 JAVA_HOME을 구성하는 hadoop-env.sh 파일 수정
명령: vi hadoop-env.sh
- core-site.xml 수정
명령: vi core-site.xml
- hdfs-site.xml 수정
명령: vi hdfs-site.xml
- mapred-site.xml 파일 수정
- hadoop 아래에는 mapred-site.xml 파일이 없습니다. mapred-site.xml.template 파일을 mapred-site.xml로 수정해야 합니다.
예: cp mapred-site.xml.template mapred-site.xml
mapred-site.xml 파일 열기
명령: vi mapred-site.xml
- yarn-site.xml 수정
명령: vi yarn-site.xml
- 슬레이브 파일 구성
명령: vi 노예
localhost를 삭제하고 파일에 다음을 추가합니다.
스튜
스투2
스투3
- hadoop 루트 디렉토리의 bin에 있는 명령을 시스템 PATH에 추가하십시오.
명령: vi /etc/profile
다음을 추가
최종 파일은 다음과 같습니다.
내보내기 HADOOP_HOME=/exports/servers/hadoop-2.7.2
내보내기 경로=$PATH:$HADOOP_HOME/bin
- 하둡 확인
명령: hadoop version
hadoop 명령의 환경 변수 구성이 성공했음을 증명하는 다음 인터페이스가 나타납니다.
- /exports/servers 아래의 hadoop-2.7.2 디렉토리 내용을 stu2 및 stu3에 복사합니다.
예: scp -r /exports/servers/ hadoop-2.7.2/ stu2:/exports/servers/
scp -r /exports/servers/ hadoop-2.7.2/ stu3:/exports/servers/
- stu의 /etc/profile 파일을 stu2 및 stu3에 복사합니다.
지침: scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
stu2 및 stu3에서 각각 다음 명령을 실행합니다. source /etc/profile, 환경 변수가 즉시 적용되도록 합니다.
8. hadoop 클러스터 시작 및 확인
(1) namenode 포맷(stu에서 실행)
명령: hadoop namenode -format
(2) 클러스터 시작(stu에서 실행)
디렉터리를 hadoop의 sbin 디렉터리로 변경합니다.
명령: cd /exports/servers/hadoop-2.7.2/sbin/
다음 명령을 실행합니다. ./start-dfs.sh
(3) 클러스터가 성공적으로 시작되었는지 확인
명령: jps
스투：
방2：
스투3:
(4) 브라우저를 열고 브라우저에 http://192.168.80.128:50070/ 입력
