[Spark] Ubuntu 21.04에 Spark 설치하기

환경 : VMWare WorkStation _ Ubuntu 21.04.02 LTS

 

01 | JAVA 설치 과정 

먼저 Spark를 설치하기 위해서는 JAVA 8버전 이상이 설치되어 있어야 한다. 

java-version (혹은 javac -version) 명령어로 JAVA가 설치되어 있는지 확인하고, 설치가 안 되었다면 다음 과정을 통해 설치하자.

 

1. openjdk 다운로드 

다음 명령어로 JAVA JDK를 다운 받는다. 

sudo apt-get install openjdk-8-jdk

 

java -version다음 명령어로 자바가 잘 설치되었는지 확인하고, 잘 되었다면 readlink 명령어로 설치 경로를 복사한다.

$ java -version
openjdk version "1.8.0_312"

$ which java
/usr/bin/java

$ readlink -f /usr/bin/java
/usr/lib/jvm/java-8-openjdk-amd64/bin/java

 

 

2. 환경변수 등록 

sudo vi /etc/profile 명령어로 /etc/profile 파일 아래 쪽에 JAVA_HOME 환경 변수를 등록한다. 

이때 위에서 복사한 자바 경로를 붙여넣는다.

sudo vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

 /etc/profile 

 

3. 재부팅

설정이 적용되도록 재부팅한다.

만약 재부팅 하지 않고 바로 적용하고 싶다면, source /etc/profile 명령어를 입력한다. 

 

 

 

01 | Spark 설치 과정 

1. spark 공식 홈페이지에서 spark를 다운로드 

https://spark.apache.org/downloads.html 에서 Spark를 다운로드 한다. 

 

2. 압축을 풀고, pyspark 실행

$ tar -xf spark-3.2.0-bin-hadoop3.2.tgz
$ cd spark-3.2.0-bin-hadoop3.2.tgz
$ ./bin/pyspark

 

./bin/pyspark 실행 후 spark 입력하고 엔터를 누르면 SparkSession 객체가 출력된다.

압축 풀고 난 뒤 

./bin/pyspark 실행 

이로써 Spark 설치 과정을 마쳤다. 

이제 Spark를 본격적으로 배우고 실습해보자.