i-mini

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 이 포스팅은 이전 포스팅과 이어집니다. 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 1mini2.tistory.com 이전 포스팅 #1 ~ #2에서 모든 인프라 구축이 완료 되었습니다. 이제 4대의 인스턴스에 HDFS, YARN, Spark 클러스터가 운영중입니다. 🎉🎉🎉🎉 이번 단계에JupyterNotebook을 설치하고 실행해보도록 하겠습니다.😘 하지만 그 전에! 모든 서비스가 정상인지 확인해봅시다!! 인프..

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 안녕하세요 😁😁😁😁! 저번 포스팅에는 하둡 HDFS 예전 버전 (2.0)을 설치했었습니다. 이번 포스팅에는 하둡HDFS 최신버전인 3.3를 설치하고, 그 위에 Spark도 함께 설치해보려고 합니다. HDFS 3.3버 1mini2.tistory.com 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 AMI이미지로 만든 후, 복제하여 총 4대의 인스턴스를 만들었죠! 이번 포스팅에서는 이제 각 역할에 맞춰 Master/..

안녕하세요 😁😁😁😁! 저번 포스팅에는 하둡 HDFS 예전 버전 (2.0)을 설치했었습니다. 이번 포스팅에는 하둡HDFS 최신버전인 3.3를 설치하고, 그 위에 Spark도 함께 설치해보려고 합니다. HDFS 3.3버전은 Java 1.8버전 이상이 필요합니다. ^.^ (Apache Hadoop 3.3 and upper supports Java 8 and Java 11) 이번 포스팅과 이어지는 포스팅들을 따라서 쭉 진행하면, HDFS+YARN+Spark 구성이 완성되고, 마지막으로는 주피터 노트북도 사용할 수 있도록 하려고 합니다.👍🏻 [설치해야할 라이브러리 목록] 1. Java 1.8 2. HDFS 3.3 3. Scala 2.13.5 4. Spark 3.1.1 자, 이제 한번 설치해봅시다! 1. EC2 인..