최근, 스파크 학습 (특정 구성, 개인적인 경험을 이야기하지 않는 방법) 그것을에서는 이러한 문제에 대한 이야기를 여기에 다양한 문제가 발생, 타박상 및 폭행 SBT를, 구성이 포함됩니다.
환경 :
10 64 승리
IDEA 커뮤니티 에디션
하둡 2.7.2
2.4.5 스파크 spark2.4.5 공식 웹 사이트 다운로드
스칼라 2.11.8
: 아무것도가 설치되지 않은 경우를,이 문서 읽을 수 https://blog.csdn.net/a1066196847을 / 기사 / 세부 / 87923496
우리가 문서 스파크 공식 웹 사이트에서 볼 필요가에 대한 이야기로 여기는 :
우선 스파크 의존 스칼라 버전에서의 모습, 최신 스칼라를 다운로드는 2.11의 시작임을 기억하지 않는 것을 참고있다. 그런 다음 최하부 그룹 ID, artifactId를, 버전, 유용한 뒤에 아이디어.
스파크와 하둡 소개
:이 과정은이 링크에서 모습을 가지 않을 https://blog.csdn.net/a1066196847/article/details/87923496
: 내 문제의 몇 가지에 대해 얘기하고 여기
pycharm 이전에 설치하기 때문에 1,하지만 파이썬에 대해 구성되지 관심이 환경 변수에 추가 할 환경 변수,
C를 : \ Users (사용자) \ 관리자 \ Anaconda3
C : \ Users (사용자) \ 관리자 \ Anaconda3 \ 스크립트
에서 PATHEXT에 플러스 PY, .PYM
2. 시스템은 스파크 쉘 명령 후 문제에 대한 경로를 찾을 수 없습니다 다음
가능성이 이유는,하지만 우리는 경로 JDK 설치에 먼저주의를 기울이 기본적으로 추가 될 때 세트의 %의 JAVA_HOME의 %에서 더 많은 숨겨진 문제에 대한 문제가있다 경로를 삭제 한 다음 확인 % JAVA_HOME % (경로 SPARK_HOME에 이동하려고하지 않을 경우 이것이 가장 중요한 이유는 실질적이다) 권리.
IDEA 구성 SBT와 스칼라 소개
가장 어려운 공격 : 우리는 SBT의 덤프 끝으로 환자 수 있지만 로그 표시 프로세스가 같은 1 시간의 카드로, 함께 붙어있다 구축 할 경우, 다음 확실히 문제가있는 것입니다해야합니다. 빈 줄에 이전 구성으로 개방 SBT 프로젝트에 따라 처음 열린 build.sbt의 추가 스파크, 다음과 같은 형식이 다섯 번째 것을 추가하고, 관심을 지불.
, SBT에서 덤프 구조와 관련하여 1. 매우 느린, 많은 온라인 자습서 원본을 변경하는 거기있다가 SBT 말했지만, 나는 많은 프로그램 소스는 다음 프로파일, 나는 단순히 직접 벽에 걸쳐도 다른 말했다되고있다 시도 우리가 소스를 변경할 수 있다면, 그것은 자연적으로 가장 좋습니다.
buildlog의 2.idea 표시 : 대기를 C에 잠금 : \ 사용자 \ Administrator.ivy2.sbt.ivy.lock 사용할 수 ...로
해결 방법 : 탐색기 및 폐쇄의 모든 자바 프로세스를 찾기
C에서 카드 아이디어로드 프로젝트 정의에 카드 3. : \ 사용자 \ 관리자 \ IdeaProjects \ untitled3 \ 프로젝트
솔루션 : 제거는 해당 폴더의 속성을 읽기 전용 -r 폴더 경로 cmd를 명령 ATTRIB을 사용하여
4. 버전 일치가 매우 중요합니다, 우리는 (그래서 해결하기 위해 벽을 통해 고려, 성공없이 국내 방법의 소스를 변경할 수) 덤프 프로젝트 완료의 생각을 기다려야
의존성 libraryDependencies에 5.Build.sbt 스파크 + = "org.apache.spark"% "스파크 core_2.11"% "2.4.5"
파일 프로젝트 구조 글로벌 라이브러리 - 자동으로 감지, 당신은 같은 스칼라 버전을 선택 : 기억 SDK를 스칼라 만들기 (6)
빌드 프로세스에있을 경우 7 :
FetchError $ DownloadingArtifacts : 오류 가져 오는 유물 :
솔루션 : C : \ 사용자 \ 59,404 \ 의 AppData \ 로컬 \ Temp 디렉터리 정리 아래 내용 (모두 삭제 예약이 사용되는 경우)
8. 때 "잘못된 체크섬"로그 파일 폴더와 같이, 나의는 C : \ 사용자 \ 관리자 \의 AppData \ 로컬 \ Coursier \ 캐시 \ V1 \ HTTPS \ repo1.maven.org \ maven2 \ 조직 \ 아파치 \ 하둡 \ 하둡 HDFS \ 2.6.5 , 표시 헤더 체크섬 오류
솔루션 : 나는 존재하지 않는 항아리 패키지를 보였다 후 하루 종일을 삭제 속해있는 날짜를 변경하지 않습니다 휴지통 항아리 그래서 패키지 다시 성공적으로 빌드를 복원합니다.
