search

micopes / SmartCar-Data-Engineering

차량 로그 데이터를 이용하여 [수집 - 적재 - 탐색 - 분석] 프로젝트
1 stars 0 forks source link

제플린 Connection refused Error #12

Closed micopes closed 3 years ago

micopes commented 3 years ago

image

  1. server01 포트 검사

    $ netstat -nap | grep 8020 을 수행한 결과 LISTEN으로 동작하였다.

  2. /user/hive/warehouse/managed_smartcar_dirve_info/biz_date=20210901 의 경로로 가서 확인한 결과 파일이 존재한다.

Connection refused 이유?

micopes commented 3 years ago

image

다시 가상환경을 실행하여 재시도 했는데 다음과 같은 에러가 발생한다.

micopes commented 3 years ago

$ hdfs dfsadmin -safemode get

$ hdfs dfsadmin -safemode leave

다음과 같이 안전모드를 확인하고 해제하려고 했는데 이미 OFF 상태.

micopes commented 3 years ago

발견한 해결 방법

1) Root Cause is : Spark trying to setup Hive context, but hdfs services is not running, that's why HiveContext become null and throwing null pointer exception.

Solution:

  1. Setup Spark Home [optional] and HDFS.
  2. Run HDFS service
  3. Restart zeppelin server OR
  4. Go to Zeppelin's Interpreter settings.
  5. Select Spark Interpreter
  6. zeppelin.spark.useHiveContext = false

Its working for me.

출처) https://issues.apache.org/jira/browse/ZEPPELIN-2475

2) spark home setting

micopes commented 3 years ago

예상 원인 1

source /root/.bash_profile

예상 원인 2

메모리 부족으로 인한 문제

https://stophyun.tistory.com/223

micopes commented 3 years ago

이후에 $ zeppelin-daemon.sh restart 를 했는데 실행이 된다. 메모리 문제로 보인다.