[Hadoop 3.3] HDFS 서비스 포트 및 설정 이해하고 넘어가기!
HDFS 프로세스 확인하기
1) Master Node
현재 Master 서버에서는 NameNode 프로스세만 운영되고 있습니다.
마스터 노드는 8020, 9870 이렇게 두개의 포트를 LISTEN중입니다.
2) Worker01 Node (Secondary NameNode + DataNode)
현재 Worker01 서버에서는 세컨더리 네임노드 프로세스와, 데이터노드 프로스세가 운영중입니다.
3) Worker02 Node (DataNode)
현재 Worker 02 서버에서는 데이터노드 프로세스 운영중입니다.
4) Worker03 Node (DataNode)
현재 Worker 03 서버에서는 데이터노드 프로세스 운영중입니다.
HDFS Service Port
HDFS의 서비스 포트와 파라메터를 확인하겠습니다.
| 구분 | 서버 | 포트 | 프로토콜 | 파라메터 | 설정파일 |
| NameNode Web UI | Master | 9870 | http | dfs.http.address | hdfs-site.xml |
| NameNode HDFS API | 8020 | IPC | dfs.defaultFS | core-site.xml | |
| Secondary NameNode Web UI |
Worker01 | 9869 | http | dfs.secondary.http.address | hdfs-site.xml |
| DataNode Web UI | Worker01~03 | 9864 | http | dfs.datanode.http.address | hdfs-site.xml |
| DetaNode Data Transfer | 9866 | http | dfs.datanode.address | hdfs-site.xml | |
| DataNode Metadata Operation |
9867 | IPC | dfs.datanode.ipc.address | hdfs-site.xml |
HDFS Service Port Configureation / Describe
| 구분 | 설정파일 | 설정 방법 | 설명 |
| NameNode Web UI | hdfs-site.xml |
<property> |
HDFS 마스터노드 웹UI |
| NameNode HDFS API | core-site.xml |
<property> |
HDFS API 포트 |
| Secondary NameNode Web UI |
hdfs-site.xml |
<property> |
HDFS 보조 |
| DataNode Web UI | hdfs-site.xml |
<property> |
데이터노드 웹UI 데이터 노드의 상태, 로그등을 확인할 수 있음 |
| DetaNode Data Transfer |
hdfs-site.xml |
<property> |
데이터 전송 포트 |
| DataNode Metadata Operation |
hdfs-site.xml |
<property> |
HDFS 메타데이터 운영 |