AWS EC2에 Apache-Spark 올리기

어제 뻘짓으로 인해서 5시간을 날렸다.

Windows 환경에서 putty로 접속이 안되는 이유는 KOREN망으로는 AWS 접속을 못한다는 것이다.

물론 다른 기업에서도 AWS와 IP를 겹치게 설정해놓는 바람에 접속을 못하는 상황이 있었다고 한다.

여하튼...본론으로 들어가자면

AWS에 먼저 접속을 한다.

그 후 아파치 스파크 홈페이지로 이동

http://spark.apache.org/

오른쪽 중단에 위치해 있는 Download Spark버튼을 클릭.

자신이 원하는 Spark 버젼을 선택한 후. 3번에서 Select Apache Mirror로 바꾼 후,

4번에 있는 링크를 클릭. 그러면 다음 창이 나올 것 이다.

그 후, terminal에 명령어를 입력한다.

wget  http://mirror.apache-kr.org/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz(이 주소는 각자 다 다를 수 있다)

엔터를 누르면 다운로드가 진행 된다.

그 후 압축 푸는 명령어 입력. 나는 opt폴더 밑에 압축을 풀었다.(자신이 원하는 폴더에)

sudo tar zxvf $자신의 파일 이름 -C /opt

스파크가 잘 작동하는지 확인해보고 싶으면 압축 풀은 폴더로 가서 실행을 해보면 된다.

cd $자신이_만든_폴더/bin ./spark-shell ( Scala 사용시에)

작동이 잘 되는것을 확인할 수 있다.

만약 작동이 안된다면, 자바가 설치되어있는지 확인하거나 업데이트를 하는것을 추천한다.

java -version sudo yum update sudo yum upgrade