Hadoop 하둡! 한번 사용해보기

 

이 포스팅은 이전포스팅과 이어집니다 :)

자! 지금까지 아래 그림처럼 우리는 Master 한대와 Slave 세대를 이용해서 하둡클러스터를 만들었습니다. 👍🏻👍🏻
이제부터는 우리가 만들어놓은 이 하둡 클러스터를 활용해보려고 합니다. 😏

 

---

Hadoop? HDFS? 뭐가 다른가?

하둡 클러스터를 사용하는 방법에 대해서 이제 알아보려고 하는데, 그 전에 의아한 부분이 있습니다.
hadoop과 hdfs는 뭐가 다른걸까요?

• 하둡이란?
  • 대량의 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 "프리웨어 자바 소프트웨어 프레임워크"입니다.
  • Apache Hadoop Framework에서는 아래의 모듈을 포함하고 있습니다.
    - 하둡 커먼(Hadoop Common)
    - 하둡 분산 파일 시스템(HDFS) - 스토리지 계층
    - 하둡 YARN - 자원 관리 계층
    - 하둡 맵리듀스 - 처리 계층 
  • 참고링크 (위키백과)

• HDFS란? 
  • 하둡 클러스터의 데이터 스토리지 계층입니다.
  • 하둡 프레임워크를 위해 자바언어로 작성된 분산 확장 파일시스템 입니다.
  • 매우 큰 파일을 저장하도록 설계(대용량파일 분산 저장)되었으며, 데이터를 여러 노드에 중복해서 저장합니다.

HDFS는 하둡의 스토리지 계층으로, Hadoop 분산파일시스템(hdfs)를 말합니다. :)
다시 정리해 말하자면, hdfs는 하둡 프레임워크의 한 부분인거죠! 🤩 

 

---

Hadoop 명령어 사용하기!

hadoop명령어를 사용합니다.
HDFS를 사용하는 경우,  Hadoop fs 명령어는 hdfs dfs 명령어와 완전히 같습니다 :)

 

모든 명령어는 Master 노드에서 사용합니다.
먼저, 디렉토리를 생성합니다.

[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -mkdir -p /hadoop-dir/mydir01
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -mkdir -p /hadoop-dir/mydir02

그리고 파일을 넣어줄건데, 먼저 파일을 두개 만들어줍시다!

[root@master /]# echo "this is test file 01" > testfile01.txt
[root@master /]# echo "this is test file 02" > testfile02.txt

이제 이 두개의 파일을 각각 디렉토리에 하나씩 넣을게요!!

[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -copyFromLocal testfile01.txt /hadoop-dir/mydir01
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -copyFromLocal testfile02.txt /hadoop-dir/mydir02

파일이 잘 들어갔는지 ls 명령어로 확인해줍니다 :)
위에서 생성한 파일들이 잘 들어갔네요!!

[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -ls -R /

 

---

아주아주 간단히 하둡명령어를 사용하는 방법을 알아봤습니다!!

공부가 더 필요하시다면, Hadoop FilesystemShell 공식문서를 참조하셔도 좋습니다.

Apache Hadoop 2.10.1 – Overview

 

고생하셨습니다!! 😊😊