Json 데이터 parquet으로 저장시 Hive 테이블 생성 방법

[Taaewoo]

이슈 사항

• Spark Streaming으로 HDFS에 parquet 파일로 저장 성공

• 하지만 Hive 테이블 생성 시 format 설정에 이슈

  • "STORED AS PARQUET"으로 지정했지만, select 실행하면 에러 발생.
  • JsonSerDe를 사용한다면 아주 복잡한 구조의 json 포맷을 모두 다 명시를 해야하는 문제가 있음.

• 에러 내용 ( dataVersion은 json 데이터의 key 값 ) Failed with exception java.io.IOException:java.lang.RuntimeException: Unknown hive type info string when searching for field dataVersion

[Taaewoo]

해결 방법 1 - JsonSerDe 사용하기 & json schema 자동 파싱 사용

• https://github.com/quux00/hive-json-schema
• 위의 Github를 이용하면 json 파일을 input으로 Hive 테이블 생성 쿼리를 만들어줌.

문제

• JsonSerDe를 사용하려면 저장되는 파일이 .json 파일이여야 함.
• Spark Streaming에서 데이터를 json 형식으로 저장하면 한 파일에 여러 json 데이터가 쌓여서 저장됨.

[Taaewoo]

해결 방법 1 -1

• writeStream에 .option("maxRecordsPerFile", 1) 옵션을 넣어주면 데이터 1개당 1개 파일 생성 가능.

문제

• int 범위를 초과하는 숫자의 경우 https://github.com/quux00/hive-json-schema 해당 오픈 소스에서는 그대로 int로 표기함.

문제 해결

• JsonHiveSchema.java 코드 수정을 통해 "bigint"로 ouput 나오도록 함.

  private String scalarNumericType(Object o) {
  String s = o.toString();
  System.out.println(s.getClass().getName());
  if (s.indexOf('.') > 0) {
    return "double";
  }
  else if(Long.parseLong(s) > Integer.MAX_VALUE){
    return "bigint";
  }
  else {
    return "int";
  }
  }