[번외#1 ]Hadoop HDFS(3.3)+Spark(3.1.1)+JupyterNotebook - Scala 사용하기

이번 포스팅에는 JypyterNotebook에 Scala커널을 추가해서, Scala를 실행해보겠습니다.

이전에 생성해놓은 인프라를 그대로 사용할 예정이니, 앞 포스팅을 차근하근히 따라오신 후 진행해주시기를 바랍니다^-^

---

1. Scala 설치

저는 python3.7을 사용하므로, pip3으로 설치했습니다!
아래 명령어로 spylon_kernal을 설치하고, 커널에 추가합니다.

[root@master ~]# pip3 install spylon-kernel
[root@master ~]# python3 -m spylon_kernel install

kernalspec 명령어로 커널 추가가 잘 되었는지 확인해봅니다.

[root@master ~]# jupyter kernelspec list

 

2. Jupyter Note 실행

이제 Jupyter Notebook을 실행합니다.

[root@master ~]# jupyter notebook --allow-root

아주 간단한 코드를 실행해봅니다.
첫줄 실행 시 바로 Scala Interpreter가 싱핼 됩니다.

val scala_lang = "Hello World!"
scala_lang

 

Master Node에서만 진행하나, 라이브러리는 모든 서버에 설치되어야 정상적으로 운영될 수 있습니다.
만약, 예기치 않은 오류가 발생한다면, 모든 노드에 올바르게 설치되어있는지 확인하세요!