i-mini

이 포스팅은 이전포스팅과 이어집니다 :) 자! 지금까지 아래 그림처럼 우리는 Master 한대와 Slave 세대를 이용해서 하둡클러스터를 만들었습니다. 👍🏻👍🏻 이제부터는 우리가 만들어놓은 이 하둡 클러스터를 활용해보려고 합니다. 😏 Hadoop? HDFS? 뭐가 다른가? 하둡 클러스터를 사용하는 방법에 대해서 이제 알아보려고 하는데, 그 전에 의아한 부분이 있습니다. hadoop과 hdfs는 뭐가 다른걸까요? 더보기 하둡이란? 대량의 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 "프리웨어 자바 소프트웨어 프레임워크"입니다. Apache Hadoop Framework에서는 아래의 모듈을 포함하고 있습니다. - 하둡 커먼(Hadoop Common) - 하둡 분산 파일 시스템(HDFS) - 스토리지 ..

이 포스팅은 이전포스팅과 이어집니다 :) 지금까지 하나의 노드에 Java와 하둡을 설치하고, 하둡 설정파일을 수정했습니다. 이번 포스팅에서는 각 노드에 맞게 설정을 변경해보도록 하겠습니다 !! 1. Master서버 설정 이번 단계에서는 Master 서버의 설정을 변경합니다 :) 더보기 Master 서버에 SSH로 접속합니다. 1) Hostname 변경 hostnamectl 명령어를 통해 호스트 이름을 변경합니다. sudo hostnamectl set-hostname master.hadoop 2) /etc/hosts 파일 수정 hosts파일을 수정합니다. hosts 파일을 수정하기 전, EC2콘솔에서 각 인스턴스의 프라이빗IP주소를 알아둡니다 :) sudo vi /etc/hosts 172.31.3.145 ..

안녕하세요 🙋‍♀️ 🙋‍♂️ 이번에 하둡에코시스템에 대해서 공부해보려고 합니다. 내용 정리하면서, 나중에 또 까먹을 미래의 나를 위해!! 포스팅 합니다. 하하 저는 AWS 의 EC2를 사용할 예정이므로, 모든 절차에 다 EC2를 사용합니다 :) 모든 단계는 공식사이트를 기준으로 작성 되었으며, 최종 아키텍쳐는 1개의 마스터노드, 3개의 슬레이브노드로 구성될 예정입니다 :) 시작해보겠습니다. 1. EC2 생성하기 이번 단계에서는 EC2 인스턴스를 생성합니다. OS는 리눅스 CentOS를 사용할 예정입니다.!!! 꼭 AWS가 아니더라도 사용할수 있는 리눅스 서버(가상서버) 4대를 준비해주세요! 이번 단계에서는 그중에 하나를 마스터 서버로 사용할 예정입니다 :) 더보기 AWS 웹 콘솔에 접속한 후 EC2서비스..

쿠버네티스 웹 대시보드 UI를 설치해보겠습니다. 쿠버네티스는 기본적으로 UI를 함께 배포하지 않습니다. 이렇게 별도로 배포해주셔야 합니다. 여기에서 공식 문서 확인할 수 있습니다. 자, 지금부터 대시보드 UI 배포를 진행해봅시다. 1. DashBoard 오브젝트 생성 아래 명령어로 Kubernetes DashBoard 소스코드를 다운로드 합니다. apply 명령어로 다운받아 실행하게 되면 외부에서 접속할수 없기때문에, 다운로드받은 후 ymal파일을 조금 수정해야 합니다. [root@kube-manager /]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml 다운받은 후 내용을 조금 ..

이번 단계에서는 쿠버네티스 네트워크 플러그인의 종류중 하나인 Calico 설치와, 네임스페이스 변경 스크립트인 kubens를 설치해보도록 하겠습니다. 😁😁 이 두개 모두 Manager Node에서만 설치하면 됩니다. 1. Network Policy Provider - Calico 설치 아래 더보기를 클릭하여 확인하세요🥳 더보기 Calico 쿠버네티스의 네트워크 플러그인입니다. 여기에서 클러스터 네트워킹에 대한 내용과 서비스들을 확인할 수 있습니다. :) 설치는 간단합니다. 먼저, MasterNode에서 아래의 명령어를 실행합니다. [root@kube-manager /]# kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml 설치가 완..

이번 단게에서는 워커 노드를 구성해보도록 하겠습니다. 3개의 노드 중 매니저 노드를 제외한 나머지 두 대 (워커노드)에서 진행합니다. 고고!! 1. kubeadm join 명령어 확인 (선택사항) 쿠버네티스 클러스터의 Worker 노드가 되기 위해서 Kubeadm join 명령어를 사용합니다. 앞 포스팅에서 컨트롤 플레인을 구성하기 위한 명령어 kubeadm init 출력 결과에 join할 수 있는 명령어가 출력됩니다. :) 만약 이 명령어를 잃어 버렸다면 다시 확인해야겠죠!! 아래 명령어를 사용하여 join 커멘드를 생성합니다. [root@kube-manager /]# kubeadm token create --print-join-command 출력되는 kubeadm join ~~ 커멘드를 복사 하고 아..

제가 구성할 쿠버네티스 클러스터 구성도입니다. 여기에서 보면 Control Plane (Manager Node)가 보시시죠?! 이번 단게에서는 Control Plane을 구성해보도록 하겠습니다. 3개의 노드 중 매니저 노드 하나에서만 실행합니다. 고고!! 명령어는 아주 간단합니다. kubeadm init 이후 옵션값들을 넣어주면 됩니다. 명령어를 실행해봅시다! 공식홈페이지링크 kubeadm init --apiserver-advertise-address= --pod-network-cidr= 저는 Manager Node IP주소가 10.0.1.10 입니다. 이 부분을 환경에 맞춰 IP 변경해서 작성하세요 :) [root@kube-manager /]# kubeadm init --apiserver-adverti..

쿠버네티스란 무엇일까요?🤨 한마디로 말해서 "컨테이너를 여러 노드에서 운영할 수 있도록 컨트롤 해주는 오케스트레이션 툴" 입니다. 여기서 말하는 "노드"란, 하나의 컴퓨터/서버를 지칭합니다. Docker나 Docker Composer는 하나의 노드에서만 사용했었죠, 지금부터는 여러대의 노드를 사용할 예정입니다. :) 여러가지 개념이 막 나오겠지만, 쿠버네티스는 기본적으로 컨테이너 런타임이 설치 되어있어야 합니다. 리눅스 환경에서 사용할 수 있는 쿠버네티스의 컨테이너 런 타임은 containerd, CRI-O, Docker 입니다. 저는 Docker 런타임을 설치하도록 합니다. 여기 를 클릭하여 도커 설치부터 확인할 수 있습니다. 저는 공식문서를 참고하여 Step by Step으로 설치를 보여드리도록 하겠..

도커 스웜은 별도로 설치할 필요 없이, 도커 서버 자체만드로 도커 스웜 클러스터를 손쉽게 구성할 수 있습니다 ;) 도커 스웜모드를 제공하는지 확인하기 위해서는 Docker Version을 확인하여 1.12버전 이상인지 확인합니다. 이번 실습에서는 Docker Swarm 클러스터를 구성하고 사용하는 실습을 진행합니다. 😁 도커 스웜은, 도커 컨테이너의 오케스트레이션 툴이라고 볼 수 있습니다. 도커 스웜은 마스터 노드와 워커노드 이렇게 2개의 역할이 있으며, 매니저 역할의 노드는 반드시 1개 이상, 워커노드는 없을 수 있습니다. 매니저 역할을 하는 노드는 워커노드의 역할도 수행하기때문입니다. 위 그림은 3개의 Manager 노드와, 7대의 Worker 노드로 구성되어있지만, 이번 실습에서는 1개의 Manag..

이번 포스팅에서는 아래 URL을 참조하여 Django+postgresql 컨테이너를 실행해보도록 하겠습니다 :) docs.docker.com/compose/django/ Quickstart: Compose and Django This quick-start guide demonstrates how to use Docker Compose to set up and run a simple Django/PostgreSQL app. Before starting, install Compose. Define the project components For this project, you... docs.docker.com 🐳 Step1. 프로젝트 구성요소 정의 1. 프로젝트(어플리케이션) 루트 디렉토리 생성 프로젝트에서..