i-mini

이번 포스팅에는 JypyterNotebook에 Scala커널을 추가해서, Scala를 실행해보겠습니다. 이전에 생성해놓은 인프라를 그대로 사용할 예정이니, 앞 포스팅을 차근하근히 따라오신 후 진행해주시기를 바랍니다^-^ 1. Scala 설치 저는 python3.7을 사용하므로, pip3으로 설치했습니다! 아래 명령어로 spylon_kernal을 설치하고, 커널에 추가합니다. [root@master ~]# pip3 install spylon-kernel [root@master ~]# python3 -m spylon_kernel install kernalspec 명령어로 커널 추가가 잘 되었는지 확인해봅니다. [root@master ~]# jupyter kernelspec list 2. Jupyter Not..

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #2 이 포스팅은 이전 포스팅과 이어집니다. 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 1mini2.tistory.com 이전 포스팅 #1 ~ #2에서 모든 인프라 구축이 완료 되었습니다. 이제 4대의 인스턴스에 HDFS, YARN, Spark 클러스터가 운영중입니다. 🎉🎉🎉🎉 이번 단계에JupyterNotebook을 설치하고 실행해보도록 하겠습니다.😘 하지만 그 전에! 모든 서비스가 정상인지 확인해봅시다!! 인프..

이 포스팅은 이전 포스팅과 이어집니다. 😘 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 Hadoop HDFS(3.3)+Spark(3.1.1)! 무작정 따라하기 #1 안녕하세요 😁😁😁😁! 저번 포스팅에는 하둡 HDFS 예전 버전 (2.0)을 설치했었습니다. 이번 포스팅에는 하둡HDFS 최신버전인 3.3를 설치하고, 그 위에 Spark도 함께 설치해보려고 합니다. HDFS 3.3버 1mini2.tistory.com 이전 포스팅에서 EC2 한대를 생성하여 그 인스턴스에 필요한 소프트웨어를 모두 설치하고, 환경변수와 설정파일을 수정했습니다. 그리고 그 인스턴스를 AMI이미지로 만든 후, 복제하여 총 4대의 인스턴스를 만들었죠! 이번 포스팅에서는 이제 각 역할에 맞춰 Master/..