옵션 |
설명 |
--master MASTER_URL |
클러스터 실행 모드에서의 마스터 정보. 'spark://host:port', 'mesos://host:port', 'yarn', 또는 'local' 중 한 형태로 설정 |
--deploy-mode DEPLOY_MODE | 드라이버 프로그램을 로컬 컴퓨터(메인 클래스를 실행한 컴퓨터를 의미하며, 일반적으로 클러스터에 포함되지 않음)에서 실행(클라이언트 방식)할 것인지 클러스터 내 서버중 한 대에서 실행(클러스터 방식)할 것인지에 대한 설정(기본값은 클라이언트 방식) |
--class CLASS_NAME | 애플리케이션 메인 클래스(예:자바 및 스칼라) |
--jars JARS | 드라이버와 익스큐터(executor)의 클래스패스에 등록될 jar 파일 목록. 여러 개일 경우 콤마(,)로 분리함 |
--packages | 드라이버와 익스큐터의 classpath에 등록될 메이븐(maven) 코디네이트(coordinates)정보, 로컬 repository와 maven central 외에 다른 repository가 필요할 경우 --repositories 옵션으로 등록함. 코디네이트는 groupid:artifactid:version 형식으로 지정하고 여러 개일 경우 콤마(,)로 분리 |
--repositories | --packages 옵션으로 지정된 메이븐 코디네이트를 찾기 위한 추가 repository. 여러개일 경우 콤마(,)로 분리. |
--driver-memory MEM | 드라이버 프로그램을 위한 메모리(예: 1000M, 2G). 기본값은 1G |
--driver-java-options | 드라이버 프로그램에서 사용 할 추가 자바 실행 옵션 |
--driver-library-path | 드라이버에 전달될 라이브러리 경로 정보 |
--driver-class-path | 드라이버 classpath에 추가될 클래스 경로 정보. --jars 옵션으로 지정한 jar 파일은 자동으로 classpath에 등록됨 |
--executor-memory MEM | 익스큐터를 위한 메모리(e.g. 1000M, 2G)기본값 1G |
--driver-cores NUM | 드라이버의 CPU 코어 수(기본값 :1) |
출처 - 스파크 2 프로그래밍,위키북스
'옥탑방주인 > Spark' 카테고리의 다른 글
Spark 2.2.0 Programming Guide (0) | 2017.10.23 |
---|---|
Spark 2.2.0 Quick Start (0) | 2017.10.13 |
[Spark] Spark Streaming - A QUICK Example 에서 에러 (0) | 2017.07.20 |