PySpark

사전준비

• M1 Mac에서 스파크를 설치하는 과정을 소개 하려고 한다.
• 필자의 Python 버전은 아래와 같다.

$ python --version
Python 3.8.7

자바 설치

• 자바 설치는 아래에서 다운로드 받았다.
  • URL: Java SE Development Kit 8u301

• 그 다음 자바 설치를 확정한다.

$ java --showversion

• 만약 에러가 아래와 같은 에러가 발생한다면, 시스템 환경설정 - Java - 업데이트 항목을 순차적으로 클릭한다.

$ java --showversion
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

사전준비

• 스파크를 설치하는 과정은 소개 하려고 한다.
• 사전에 파이썬 3만 설치가 되어 있으면 된다.
• 만약, 파이썬이 처음이라면 Anaconda를 설치한다.

다운로드 전 필수 확인사항

• 스파크 설치 전에는 반드시 체크해야 하는 사항이 있다. (System Compatibility)
• 2022년 1월 기준은 아래와 같다.

Get Spark from the downloads page of the project website. This documentation is for Spark version 3.2.0. Spark uses Hadoop’s client libraries for HDFS and YARN. Downloads are pre-packaged for a handful of popular Hadoop versions. Users can also download a “Hadoop free” binary and run Spark with any Hadoop version by augmenting Spark’s classpath. Scala and Java users can include Spark in their projects using its Maven coordinates and Python users can install Spark from PyPI.