파일을 HDFS 기록 java.net.ConnectException을 읽을 때 문제가 발생할 수 : 연결이 거부

 

이 회사의 하둡 클러스터는 동료 전에 구축 및 스파크 쉘, 다음 명령을 실행할 때 I (흰색)는 HDFS에 파일을 읽을

>>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
>>> word.first()

오류 : java.net.ConnectException : localhost로 하둡 / 133.0.123.130에서 전화 : 9000는 연결 예외에 실패 java.net.ConnectException : 연결 거부합니다. 나는 다음과 같은 HDFS에서 파일을 문제가 표시됩니다 HDFS 로컬 서버 연결이 발견은 HDFS와의 연결이 로컬 서버, 통신이 문제가되지 않습니다 나타내는 정상적인 볼 수 있습니다 것으로 나타납니다! 생각, 내가 가지고있는 HDFS에 파일을 읽을 수있는 다른 방법을 변경하려는

>>> word=sc.textFile("/user/hadoop/test.txt")
>>> word.first()

파일을 HDFS 스파크 기본에 읽기 때문에이 방법이 가능하고, 문제가 명확되고있는 정상 작동을 발견하고 있습니다 때문에 "로컬 호스트 : 9000"는 질문에서, 내가 하둡 볼을 / etc / 포트 코어를 site.xml 배치

디스플레이 포트 설정이 제대로, 그것은 IP 주소가 잘못 대응하는 로컬 호스트해야한다! 그리고 발견 된 호스트 파일을 보려면

IP 주소가 일치하지 않는 로컬 서버에 해당 찾을 로컬 호스트의 IP 주소, 마지막으로 내가 HDFS는 파일을 변경 지침을 읽습니다, 이유를 발견 :

>>> word=sc.textFile("hdfs://hadoop:9000/user/hadoop/test.txt")
>>> word.first()

그 결과 정상.

 

추천

출처www.cnblogs.com/hgz-dm/p/11356357.html