[Spark 3.1] Spark 서비스 포트 및 설정 이해하고 넘어가기!

 

Spark 프로세스 확인하기

 

1) Master Node

마스터 노드에서는 "Master"라는 프로세스가 실행되고 있습니다.

 

2) Worker 01~ 03 Node

워커노드에서는 ""Worker"라는 프로세스가 실행되고 있습니다. (Worker 01~03 모두 동일하므로, 캡쳐는 Worker01만 넣었습니다!)

 

 

---

Spark Service Port

서버	포트	파라메터	설정파일	설명
Master	7077	SPARK_MASTER_PORT	${spark_home}/conf/spark-env.sh	Spark Master Port
	8080	SPARK_MASTER_WEBUI_PORT		Master Web UI
Worker01~03	8081	SPARK_WORKER_WEBUI_PORT		Worker Web UI
	{Random Port}	SPARK_WORKER_PORT		Worker Port

 

---