목차
접기
이 포스팅은 이전포스팅과 이어집니다 :)
자! 지금까지 아래 그림처럼 우리는 Master 한대와 Slave 세대를 이용해서 하둡클러스터를 만들었습니다. 👍🏻👍🏻
이제부터는 우리가 만들어놓은 이 하둡 클러스터를 활용해보려고 합니다. 😏
Hadoop? HDFS? 뭐가 다른가?
하둡 클러스터를 사용하는 방법에 대해서 이제 알아보려고 하는데, 그 전에 의아한 부분이 있습니다.
hadoop과 hdfs는 뭐가 다른걸까요?
더보기
- 하둡이란?
- 대량의 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 "프리웨어 자바 소프트웨어 프레임워크"입니다.
- Apache Hadoop Framework에서는 아래의 모듈을 포함하고 있습니다.
- 하둡 커먼(Hadoop Common)
- 하둡 분산 파일 시스템(HDFS) - 스토리지 계층
- 하둡 YARN - 자원 관리 계층
- 하둡 맵리듀스 - 처리 계층 - 참고링크 (위키백과)
- HDFS란?
- 하둡 클러스터의 데이터 스토리지 계층입니다.
- 하둡 프레임워크를 위해 자바언어로 작성된 분산 확장 파일시스템 입니다.
- 매우 큰 파일을 저장하도록 설계(대용량파일 분산 저장)되었으며, 데이터를 여러 노드에 중복해서 저장합니다.
HDFS는 하둡의 스토리지 계층으로, Hadoop 분산파일시스템(hdfs)를 말합니다. :)
다시 정리해 말하자면, hdfs는 하둡 프레임워크의 한 부분인거죠! 🤩
Hadoop 명령어 사용하기!
hadoop명령어를 사용합니다.
HDFS를 사용하는 경우, Hadoop fs 명령어는 hdfs dfs 명령어와 완전히 같습니다 :)
모든 명령어는 Master 노드에서 사용합니다.
먼저, 디렉토리를 생성합니다.
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -mkdir -p /hadoop-dir/mydir01
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -mkdir -p /hadoop-dir/mydir02그리고 파일을 넣어줄건데, 먼저 파일을 두개 만들어줍시다!
[root@master /]# echo "this is test file 01" > testfile01.txt
[root@master /]# echo "this is test file 02" > testfile02.txt이제 이 두개의 파일을 각각 디렉토리에 하나씩 넣을게요!!
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -copyFromLocal testfile01.txt /hadoop-dir/mydir01
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -copyFromLocal testfile02.txt /hadoop-dir/mydir02파일이 잘 들어갔는지 ls 명령어로 확인해줍니다 :)
위에서 생성한 파일들이 잘 들어갔네요!!
[root@master /]# /usr/local/hadoop-2.10.1/bin/hadoop fs -ls -R /
아주아주 간단히 하둡명령어를 사용하는 방법을 알아봤습니다!!
공부가 더 필요하시다면, Hadoop FilesystemShell 공식문서를 참조하셔도 좋습니다.
Apache Hadoop 2.10.1 – Overview
고생하셨습니다!! 😊😊
728x90