Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2

 

이 포스팅은 이전 포스팅과 이어집니다. 😘

Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1

Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1

---

 

이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다.
그리고 그 인스턴스를 AMI이미지로 만든 후, 복제하여 총 4대의 인스턴스를 만들었죠!

이번 포스팅에서는 이제 각 역할에 맞춰 Master/ Worker에 설정을 해주고, 클러스터를 실행해보도록 하겠습니다!!

 

1. Master 서버 설정하기

이번 단계에서는 Master 서버의 호스트이름 변경, hosts 파일 수정을 진행합니다.
Master로 사용할 단 하나의 서버에서만 진행합니다. 

1) 호스트 이름 변경

호스트의 이름을 Master로 변경합니다.

$ sudo hostnamectl set-hostname master

 

2) Hosts 파일 수정

Hosts 파일을 수정합니다. Hosts파일에는 Master 및 Worker01~03 노드의 모든 아이피&호스트명이 정의되어야 합니다.

$ sudo vim /etc/hosts

 

---

2. Worker 1~3 서버 설정하기

이번 단계에서는 Worker01~03 서버의 호스트이름 변경, hosts 파일 수정을 진행합니다.

1) 호스트 이름 변경

저는 MAC 사용 유저로, iterm 터미널로 한번에 명령어를 수행하고 있습니다.
혹시 윈도우 사용자이고, 개인이라면 x-shell같은 툴을 다운받아서 저처럼 사용할 수 있습니다.

# 각 호스트에 worker01, worker02, worker03 입력!
$ sudo hostnamectl set-hostname worker01

 
2) Hosts 파일 수정

$ sudo vim /etc/hosts

 

---

3. SSH-KEY 교환하기

이번 단계는 모든 노드에서 동일하게 수행합니다.
※주의 : 이번 단계는 구성을 편하게 하기 위해 보안에 취약한 여러가지 설정을 진행합니다.
실 운영 환경에서는 Root계정의 보호와 SSH키 교환이 취약할 수 있으니 설정에 주의하세요.

1) SSH 설정 변경하기

작업을 진행하기 전, Root 계정으로 변경합니다.

$ sudo su

 이제, SSH 설정파일을 수정합니다.

# vim /etc/ssh/sshd_config

 

38번째 줄의 "PermitRootLogin" 의 주석을 해제합니다.

65번째 줄의 "PasswordAuthentication" 를 yes로 변경합니다.

저장후 설정파일을 리로드하기 위해 ssh 데몬을 재시작하고, Root 계정의 비밀번호를 설정합니다.

# systemctl restart sshd
# passwd

 

2) SSH 키 생성하기

SSK-KEY를 생성합니다. (전부 엔터 눌러주세요!)

# ssh-keygen

 

3) SSH 키 교환하기

이제 ssh키를 교환합니다. 네개의 노드에서 모두 동일하게 진행해주세요.

# ssh-copy-id root@master

# ssh-copy-id root@worker01

# ssh-copy-id root@worker02

# ssh-copy-id root@worker03

설정이 잘 되었다면 ssh worker01 이런식으로 접속했을때, 비밀번호를 묻지 않고 바로 로그인이 되어야합니다.
여기까지 진행 되었다면 ! 다음 단계로 진행해주세요.

 

---

4. HDFS 포멧하기

처음 디스크를 사용할때, OS에 맞게 파일 시스템을 포멧하는것 처럼, HDFS를 시작하기 전 포멧을 진행합니다 :)
NameNode 포멧은 Master 서버에서, DataNode 포멧은 Slave1, Slave2, Slave3 서버에서 진행합니다!

1) NameNode 포멧

마스터 노드와 Worker01노드에서 아래의 명령어를 실행하여 네임노드 포멧을 시작합니다.
(Worker01노드는 세컨더리 네임노드로 운영됩니다)

[root@master ~]# /usr/local/hadoop-3.3.0/bin/hdfs namenode -format /hdfs_dir
[root@worker01 ~]# /usr/local/hadoop-3.3.0/bin/hdfs namenode -format /hdfs_dir

(중간 생략)

 

2) DataNode 포멧

데이터 노드(worker01, worker02, worker03) 세 대에서도 아래의 명령어를 실행합니다.

[root@worker02 ~]# /usr/local/hadoop-3.3.0/bin/hdfs datanode -format /hdfs_dir/

(중간 생략)

 

worker01, worker02, worker03 모두에서 똑같이 진행하셨다면, 다음 단계로 넘어갑니다!! 

 

---

5. HDFS & YARN 시작하기 

이제 HDFS&YARN을 실행하겠습니다.

※ Master 노드에서만 시작 명령어를 실행하면 됩니다.!👍🏻

실행을 위해서, 먼저 Master 노드에서 설정파일을 하나 수정합니다.
아래에서 수정할 workers 파일은 HDFS에서 실제 데이터를 저장할 데이터 노드를 지정하는 설정파일입니다.

[root@master ~]# vim /usr/local/hadoop-3.3.0/etc/hadoop/workers

worker01
worker02
worker03

 

데이터 노드 지정이 완료 되었다면, 이제 HDFS&YARN을 실행해봅시다!!

마스터 노드에서만 명령어를 실행해주면 됩니다.

[root@master ~]# /usr/local/hadoop-3.3.0/sbin/start-all.sh

jps 명령어로 HDFS & YARN이 잘 실행되었는지 확인 가능합니다.

[root@master ~]# jps

* HDFS GUI : http://<masterIP>:50070
* YARN GUI : http://<masterIP>:8080

 

---

6. Spark 시작하기

이제 Spark 을 실행하겠습니다.

※ Master 노드에서만 시작 명령어를 실행하면 됩니다.!👍🏻

실행을 위해서, Spark도 마찬가지로 Master 노드에서 설정파일을 하나 수정합니다.
아래에서 수정할 workers 파일은 클러스터 설정 파일입니다.

[root@master ~]# vim /usr/local/spark-3.1.1-bin-hadoop3.2/conf/workers

이제 실행시켜봅시다!

[root@master ~]# /usr/local/spark-3.1.1-bin-hadoop3.2/sbin/start-all.sh

 

Spark 웹콘솔에 접속해보겠습니다.
3개의 워커노드가 보이네요 :)

 

여기까지! 진행하면
HDFS + YARN + Spark 구성이 완료 되었습니다 :)

다음 포스팅에서는 Jupyter Notebook을 실행하고, 테스트 작업을 수행해보겠습니다!!

 

뿅!👻

 

---

다음포스팅으로 바로가기~👍🏻

Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #3