본문 바로가기

옥탑방주인/Spark

Spark 실행옵션

 옵션

 설명

--master MASTER_URL 

클러스터 실행 모드에서의 마스터 정보. 'spark://host:port', 'mesos://host:port', 'yarn', 또는 'local' 중 한 형태로 설정 

 --deploy-mode DEPLOY_MODE

드라이버 프로그램을 로컬 컴퓨터(메인 클래스를 실행한 컴퓨터를 의미하며, 일반적으로 클러스터에 포함되지 않음)에서 실행(클라이언트 방식)할 것인지 클러스터 내 서버중 한 대에서 실행(클러스터 방식)할 것인지에 대한 설정(기본값은 클라이언트 방식) 

 --class CLASS_NAME

애플리케이션 메인 클래스(예:자바 및 스칼라) 

 --jars JARS

드라이버와 익스큐터(executor)의 클래스패스에 등록될 jar 파일 목록. 여러 개일 경우 콤마(,)로 분리함 

--packages 

드라이버와 익스큐터의 classpath에 등록될 메이븐(maven) 코디네이트(coordinates)정보, 로컬 repository와 maven central 외에 다른 repository가 필요할 경우 --repositories 옵션으로 등록함. 코디네이트는 groupid:artifactid:version 형식으로 지정하고 여러 개일 경우 콤마(,)로 분리 

 --repositories

--packages 옵션으로 지정된 메이븐 코디네이트를 찾기 위한 추가 repository. 여러개일 경우 콤마(,)로 분리. 

 --driver-memory MEM

드라이버 프로그램을 위한 메모리(예: 1000M, 2G). 기본값은 1G 

 --driver-java-options

드라이버 프로그램에서 사용 할 추가 자바 실행 옵션 

 --driver-library-path

드라이버에 전달될 라이브러리 경로 정보 

--driver-class-path 

드라이버 classpath에 추가될 클래스 경로 정보. --jars 옵션으로 지정한 jar 파일은 자동으로 classpath에 등록됨 

 --executor-memory MEM

익스큐터를 위한 메모리(e.g. 1000M, 2G)기본값 1G 

 --driver-cores NUM

드라이버의 CPU 코어 수(기본값 :1) 


출처 - 스파크 2 프로그래밍,위키북스

'옥탑방주인 > Spark' 카테고리의 다른 글

Spark 2.2.0 Programming Guide  (0) 2017.10.23
Spark 2.2.0 Quick Start  (0) 2017.10.13
[Spark] Spark Streaming - A QUICK Example 에서 에러  (0) 2017.07.20