IntelliJ에서 Zeppelin Notebook 사용하기

[farmeter]

2019년에 JetBrains에서 IntelliJ Plugin으로 Big Data Tool이 공개되었는데요.

최초 Zeppelin Notebook과 Scala만 지원되었는데요. 이후 2020년 3월부터 Spark, HDFS와 Parquet까지 지원이 확대되었습니다.

• 기존에 있던 Database Tools and SQL plugin , Datagrip에 익숙하신 분들이라면, 사용하시기 편하겠습니다.
• 웹과 동일하게 IDE안에서 편리하게 사용이 가능합니다.

사용법

• Plugin 설치 후, Database와 마찬가지로 새로 생성된 탭에서 Zeppelin을 선택합니다.

• 기존에 사용하던 접속정보를 입력해줍니다.

• 사용하던 NobeBook list를 그대로 확인할 수 있습니다.

• 기존 제플린과 동일한 형태로 탭 내에서 결과 확인이 가능합니다.

• spark2도 잘 동작하며, csv export도 사용 가능합니다.

Plugin 설치하러 가기 => https://plugins.jetbrains.com/plugin/12494-big-data-tools

• Ultimate 2019.2 이상부터 지원합니다.

참조

• https://www.jetbrains.com/ko-kr/data-tools/
• https://blog.jetbrains.com/ko/2019/10/23/big-data-tools-intellij-idea-spark-zeppelin/
• https://blog.jetbrains.com/ko/2020/03/03/update-on-big-data-tools-plugin-spark-hdfs-parquet-and-more-ko/

Kafka Monitoring이나 HDFS도 지원가능한데, 사용해보고 업데이트 하겠습니다 :)