EC2 Hadoop 2

Hadoop 하둡(2.10.1)! 무작정 따라하기 #2

이 포스팅은 이전포스팅과 이어집니다 :) 지금까지 하나의 노드에 Java와 하둡을 설치하고, 하둡 설정파일을 수정했습니다. 이번 포스팅에서는 각 노드에 맞게 설정을 변경해보도록 하겠습니다 !! 1. Master서버 설정 이번 단계에서는 Master 서버의 설정을 변경합니다 :) 더보기 Master 서버에 SSH로 접속합니다. 1) Hostname 변경 hostnamectl 명령어를 통해 호스트 이름을 변경합니다. sudo hostnamectl set-hostname master.hadoop 2) /etc/hosts 파일 수정 hosts파일을 수정합니다. hosts 파일을 수정하기 전, EC2콘솔에서 각 인스턴스의 프라이빗IP주소를 알아둡니다 :) sudo vi /etc/hosts 172.31.3.145 ..

Hadoop 하둡(2.10.1)! 무작정 따라하기 #1

안녕하세요 🙋‍♀️ 🙋‍♂️ 이번에 하둡에코시스템에 대해서 공부해보려고 합니다. 내용 정리하면서, 나중에 또 까먹을 미래의 나를 위해!! 포스팅 합니다. 하하 저는 AWS 의 EC2를 사용할 예정이므로, 모든 절차에 다 EC2를 사용합니다 :) 모든 단계는 공식사이트를 기준으로 작성 되었으며, 최종 아키텍쳐는 1개의 마스터노드, 3개의 슬레이브노드로 구성될 예정입니다 :) 시작해보겠습니다. 1. EC2 생성하기 이번 단계에서는 EC2 인스턴스를 생성합니다. OS는 리눅스 CentOS를 사용할 예정입니다.!!! 꼭 AWS가 아니더라도 사용할수 있는 리눅스 서버(가상서버) 4대를 준비해주세요! 이번 단계에서는 그중에 하나를 마스터 서버로 사용할 예정입니다 :) 더보기 AWS 웹 콘솔에 접속한 후 EC2서비스..

728x90