pyspark 데모 프로그램은 스파크 컨텍스트를 생성하지만 여전히 오류가 발생합니다. 전체 오류는 다음과 같습니다.
sc = SparkContext(“local”, “파티션 ID 예”) 파일
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py”,
133행, init SparkContext._ensure_initialized(self ,
게이트웨이=게이트웨이, conf=conf) 파일
"C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py",
316행, _ensure_initialized SparkContext._gateway = 게이트웨이 또는
launch_gateway(conf) 파일
"C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\java_gateway.py",
46행, launch_gateway return _launch_gateway(conf) 파일
"C:\ProgramData\anaconda3\envs\python36\lib \site-packages\pyspark\java_gateway.py”,
101번째 줄, _launch_gateway proc = Popen(command, stdin=PIPE,
env=env) 파일
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess.py”, 729행,
init Restore_signals , start_new_session) 파일
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess. py", 1017행,
_execute_child 시작 정보) FileNotFoundError: [WinError 2]
시스템이 지정된 파일을 찾을 수 없습니다.
환경: python3.6+pyspark==2.4.5는
아나콘다가 만든 환경을 사용합니다.
해결책: 시스템 환경 변수 PATH에 아나콘다의 설치 경로를 입력하십시오.
현상: conda 명령줄 창에서 conda가 환경을 활성화한 후 py 파일이 있는 디렉터리로 cd하고 python.py를 실행하여 정상적으로 실행한 다음 pyspark가 있는 패키지 bin 아래에서 pyspark.cmd를 실행하면 보통이다. pycharm에서 실행할 수 있는데 위의 오류가 보고됩니다. 이는 단지 두 환경이 일치하지 않는다는 의미일 뿐입니다. 위의 해결 방법을 시도하여 성공했습니다.