i-mini

YARN 프로세스 확인하기 1) Master Node Master 노드에는 YARN이 운영되기 위한 리소스 매니저 프로세스가 운영되고 있습니다. 2) Worker01~03 Node Worker 01~ 03 노드에는 모두 노드 매니저 프로세스가 운영되고 있습니다. YARN Service Port YARN 의 서비스 포트와 파라메터를 확인하겠습니다. 서버 포트 프로토콜 파라메터 설명 Master 8088 http yarn.resourcemanager.webapp.address 리소스 매니저 웹 UI 8030 http yarn.resourcemanager.scheduler.address 스케줄러 인터페이스 8031 http yarn.resourcemanager.resource-tracker.address YA..

HDFS 프로세스 확인하기 1) Master Node 현재 Master 서버에서는 NameNode 프로스세만 운영되고 있습니다. 마스터 노드는 8020, 9870 이렇게 두개의 포트를 LISTEN중입니다. 2) Worker01 Node (Secondary NameNode + DataNode) 현재 Worker01 서버에서는 세컨더리 네임노드 프로세스와, 데이터노드 프로스세가 운영중입니다. 3) Worker02 Node (DataNode) 현재 Worker 02 서버에서는 데이터노드 프로세스 운영중입니다. 4) Worker03 Node (DataNode) 현재 Worker 03 서버에서는 데이터노드 프로세스 운영중입니다. HDFS Service Port HDFS의 서비스 포트와 파라메터를 확인하겠습니다. ..

이번 포스팅에는 JypyterNotebook에 Scala커널을 추가해서, Scala를 실행해보겠습니다. 이전에 생성해놓은 인프라를 그대로 사용할 예정이니, 앞 포스팅을 차근하근히 따라오신 후 진행해주시기를 바랍니다^-^ 1. Scala 설치 저는 python3.7을 사용하므로, pip3으로 설치했습니다! 아래 명령어로 spylon_kernal을 설치하고, 커널에 추가합니다. [root@master ~]# pip3 install spylon-kernel [root@master ~]# python3 -m spylon_kernel install kernalspec 명령어로 커널 추가가 잘 되었는지 확인해봅니다. [root@master ~]# jupyter kernelspec list 2. Jupyter Not..

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 이 포스팅은 이전 포스팅과 이어집니다. 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 1mini2.tistory.com 이전 포스팅 #1 ~ #2에서 모든 인프라 구축이 완료 되었습니다. 이제 4대의 인스턴스에 HDFS, YARN, Spark 클러스터가 운영중입니다. 🎉🎉🎉🎉 이번 단계에JupyterNotebook을 설치하고 실행해보도록 하겠습니다.😘 하지만 그 전에! 모든 서비스가 정상인지 확인해봅시다!! 인프..

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 안녕하세요 😁😁😁😁! 저번 포스팅에는 하둡 HDFS 예전 버전 (2.0)을 설치했었습니다. 이번 포스팅에는 하둡HDFS 최신버전인 3.3를 설치하고, 그 위에 Spark도 함께 설치해보려고 합니다. HDFS 3.3버 1mini2.tistory.com 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 AMI이미지로 만든 후, 복제하여 총 4대의 인스턴스를 만들었죠! 이번 포스팅에서는 이제 각 역할에 맞춰 Master/..

안녕하세요 😁😁😁😁! 저번 포스팅에는 하둡 HDFS 예전 버전 (2.0)을 설치했었습니다. 이번 포스팅에는 하둡HDFS 최신버전인 3.3를 설치하고, 그 위에 Spark도 함께 설치해보려고 합니다. HDFS 3.3버전은 Java 1.8버전 이상이 필요합니다. ^.^ (Apache Hadoop 3.3 and upper supports Java 8 and Java 11) 이번 포스팅과 이어지는 포스팅들을 따라서 쭉 진행하면, HDFS+YARN+Spark 구성이 완성되고, 마지막으로는 주피터 노트북도 사용할 수 있도록 하려고 합니다.👍🏻 [설치해야할 라이브러리 목록] 1. Java 1.8 2. HDFS 3.3 3. Scala 2.13.5 4. Spark 3.1.1 자, 이제 한번 설치해봅시다! 1. EC2 인..

DOM ( Document Object Model) 이란? 문서 객체 모델이라고 하며 HTML XML 문서를 Javascript에서 접근할 수 있도록 Object화 해주는 기술을 말합니다. 웹페이지는 하나의 문서(Document)입니다. 웹페에지의 구조를 Object로 만들어 JavaScript에서 내용을 변경하고, 저장하는 등의 조작이 가능해집니다. 즉, DOM을 사용하게 되면, HTML 에 프로그래밍 방식으로 접근할 수 있게 되는거죠! 우리의 웹 브라우저는 HTML페이지를 서버에서 받아온 후, HTML을 로드할때 DOM을 함께 생성합니다. 이렇게 되면, DOM이 HTML과 Javascript간의 인터페이스 (소통창구) 역할을 하게 되는거죠. 그래서 DOM 기술로 우리는 동적 웹페이지를 만들 수 있습니..

자바스크립트에서 함수는 기본 구성 블록중 하나로, 작업을 수행하거나 값을 계산하는 재사용가능한 문장 집합입니다. 함수도 일반 객체(데이터 타입)로, 이전 포스팅에서 작성했던 Object와 같은 개념입니다. 예를들어, 변수의 값을 화면에 출력할때 많이 사용하는 console.log도 console 객체에 들어있는 log 함수입니다. console.log(console) /* 실행 결과 ----------------------------------- Object [console] { log: [Function: log], warn: [Function: warn], dir: [Function: dir], time: [Function: time], timeEnd: [Function: timeEnd], timeL..

자바스크립트는 동적언어로 변수 타입을 미리 선언할 필요가 없습니다. 어떤 데이터 타입이 있는지 한번 확인해봅니다.🤗 1. 기본 자료형 1) Boolean - true/false 두가지 값을 가질 수 있습니다. - 프로그래밍 시 논리적으로 참/거짓을 판단할 필요가 있을때 사용합니다. - 예) 사용자가 입력한 값이 10 이상이면 참, 아니면 거짓 (비교연산자) const boolT = true; const boolF = false; console.log(boolT,boolF); /* 실행 결과 =============================== true false =============================== */ 2) Null - 변수값이 비어있다는 표기를 하기 위한 자료형입니다. - un..

JavaScript를 이제 막 시작한 자바린이로써, 나중에 다시 찾아볼 수 있도록 정리한 포스팅입니다. 😂 1. 변수 선언 방법 변수 선언문 재선언 재할당 특징 let 불가 가능 - 블록 레벨 스코프 - ECMA2015 버전부터 사용 가능 const (constant(상수)) 불가 불가 - 변수 선언시 값을 반드시 같이 넣어줘야 함 - 블록 레벨 스코프 - ECMA2015 버전부터 사용 가능 var (variables(변수)) 가능 가능 - 전부 가능 (자유도 높음) 1) let 변수를 선언하고 값을 바꿔봅니다. let tomato tomato = "맛있어"; console.log(tomato); tomato = "빨간색"; console.log(tomato); /* 실행 결과 --------------..