Platform Engineering 공부

Overview Driver SparkSession/SparkContext를 생성 Job을 submit하고, Job을 Task로 변환 Worker 간의 Task 실행을 조정하는 주요 프로세스 Executor 계산 작업을 수행하고 결과를 Driver에게 반환 Spark는 Task 수행시 모든 계산이 메모리 내에서 발생 메모리 할당량이 너무 크면 리소스를 많이 차지 메모리 할당량이 작으면 오버 플로 및 GC 문제가 쉽게 발생 Driver, Executor로 이루어진 두 JVM 프로세스 존재 Executor 메모리 On Heap Memory Object는 JVM heap에 할당 GC에 의해 바인딩 Off Heap Memory Object는 직렬화에 의해 JVM 외부 메모리에 할당 Application에 의해 ..

Spark Driver 하나의 노드에서 실행 스파크 전체의 main() 함수 실행 SparkContext 객체 생성 Application 내 정보의 유지, Executor의 실행 및 실행 분석 등의 역할 수행 사용자의 Job을 Task 단위로 변환 Cluster 모드 Spakr Application 실행시 Application Master Process 생성 → Spark Driver를 실행하는 컨테이너 Spark Driver와 Yarn Resource Manager가 협상을 통해 Application 실행을 위한 리소스 요구 할당 받은 Resource를 Yarn Node Manager에게 Spark Executor 실행을 위한 컨테이너 생성 지시 spark context가 execurtor로 job(t..