Yarn에서 Spark 실행하기 (feat. Spark Driver)
Spark Driver 하나의 노드에서 실행 스파크 전체의 main() 함수 실행 SparkContext 객체 생성 Application 내 정보의 유지, Executor의 실행 및 실행 분석 등의 역할 수행 사용자의 Job을 Task 단위로 변환 Cluster 모드 Spakr Application 실행시 Application Master Process 생성 → Spark Driver를 실행하는 컨테이너 Spark Driver와 Yarn Resource Manager가 협상을 통해 Application 실행을 위한 리소스 요구 할당 받은 Resource를 Yarn Node Manager에게 Spark Executor 실행을 위한 컨테이너 생성 지시 spark context가 execurtor로 job(t..
BigData/Spark
2024. 2. 11. 14:15
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- nifi
- prometheus
- nifi.flowcontroller.autoResumeState
- hadoop
- flow.xml.gz
- Item Prototypes
- Discovery Rule
- Dataflow
- Nifi Service
- exporter
- java8
- 설정에러
- Nifi Architecture
- Federation
- hdfs
- error
- Apache
- Apache Nifi
- 빅데이터
- MAT
- OOM
- flink
- lld
- namenode
- Bigdata
- zabbix
- bigdata #data_mesh
- openjdk1.8
- spark driver
- 실시간처리
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
글 보관함