[Hadoop 3.3] HDFS 서비스 포트 및 설정 이해하고 넘어가기!

 

HDFS 프로세스 확인하기

 

1) Master Node

현재 Master 서버에서는 NameNode 프로스세만 운영되고 있습니다.
마스터 노드는 8020, 9870 이렇게 두개의 포트를 LISTEN중입니다.

 

2) Worker01 Node (Secondary NameNode + DataNode)

현재 Worker01 서버에서는 세컨더리 네임노드 프로세스와, 데이터노드 프로스세가 운영중입니다.

 

3) Worker02 Node (DataNode)

현재 Worker 02 서버에서는 데이터노드 프로세스 운영중입니다. 

 

4) Worker03 Node (DataNode)

현재 Worker 03 서버에서는 데이터노드 프로세스 운영중입니다. 

 

 

 

---

HDFS Service Port 

HDFS의 서비스 포트와 파라메터를 확인하겠습니다.

구분	서버	포트	프로토콜	파라메터	설정파일
NameNode Web UI	Master	9870	http	dfs.http.address	hdfs-site.xml
NameNode HDFS API		8020	IPC	dfs.defaultFS	core-site.xml
Secondary NameNode Web UI	Worker01	9869	http	dfs.secondary.http.address	hdfs-site.xml
DataNode Web UI	Worker01~03	9864	http	dfs.datanode.http.address	hdfs-site.xml
DetaNode Data Transfer		9866	http	dfs.datanode.address	hdfs-site.xml
DataNode Metadata  Operation		9867	IPC	dfs.datanode.ipc.address	hdfs-site.xml

 

---

HDFS Service Port  Configureation / Describe

구분	설정파일	설정 방법	설명
NameNode Web UI	hdfs-site.xml	<property>     <name>dfs.namenode.http-address</name>     <value>0.0.0.0:9870</value>  </property>	HDFS 마스터노드 웹UI
NameNode HDFS API	core-site.xml	<property>     <name>fs.defaultFS</name>     <value>hdfs://master:8020</value> </property>	HDFS API 포트
Secondary NameNode Web UI	hdfs-site.xml	<property>     <name>dfs.namenode.secondary.http-address</name>     <value>0.0.0.0:9869</value> <property>	HDFS 보조
DataNode Web UI	hdfs-site.xml	<property>     <name>dfs.datanode.http.address</name>     <value>0.0.0.0:9864</value> </property>	데이터노드 웹UI 데이터 노드의 상태, 로그등을 확인할 수 있음
DetaNode  Data Transfer	hdfs-site.xml	<property>     <name>dfs.datanode.address</name>     <value>0.0.0.0:9866</value> </property>	데이터 전송 포트
DataNode Metadata  Operation	hdfs-site.xml	<property>     <name>dfs.datanode.ipc.address</name>     <value>0.0.0.0:9867</value> </property>	HDFS 메타데이터 운영