metatron-app / metatron-discovery

Powerful & Easy way for big data discovery
https://metatron.app
Apache License 2.0
440 stars 111 forks source link

Need to check vulnerable link datasource in demo site #44

Closed i1befree closed 5 years ago

i1befree commented 6 years ago

Describe the bug 데모 사이트에서 링크형 데이터소스 동작하지 않음. 수정되면 잠시 동작하다가, 항상 잘 동작하지 않는 문제가 있음(현재 Hive 에서만 발생하는 것으로 보임).

To Reproduce 현재 노출되 있는 데이터소스인 "link" datasource 를 이용할 경우 동작하지 않음. 2/2 단계에서 더 이상 진행 되지 않으며 아래와 같은 메시지만 반복적으로 출력됨.

2018-08-17 10:08:45.526 DEBUG [-] [BulkLoad-null-0] a.m.d.domain.engine.EngineLoadService : Check temporary datasource [2] : TEMP-fba34c06-969e-4703-82a9-3dd24ee031ef 2018-08-17 10:08:45.526 DEBUG [-] [BulkLoad-null-0] a.m.d.d.engine.AbstractEngineRepository : Request to engine : GET, http://metatron-hadoop-03:8082/druid/v2/datasources/local/test_arcts_zgvnb/coverage > {} 2018-08-17 10:08:45.529 DEBUG [-] [BulkLoad-null-0] a.m.d.domain.engine.EngineLoadService : load Datasource info : 2018-08-17 10:08:45.529 DEBUG [-] [BulkLoad-null-0] a.m.d.domain.engine.EngineLoadService : Send Progress Topic : /topic/datasources/TEMP-3862119c-b50a-4437-8026-62441e5eedcf/progress, ProgressResponse{progress=13, message='PROGRESS_LOAD_TEMP_DATASOURCE'}

워크벤치에서 Hive 연결에 대해 차트 그리기를 해도 동일한 현상이 발생하는 것을 확인

2018-08-17 10:29:00.225 DEBUG [-] [http-nio-8080-exec-8] a.m.d.d.w.util.WorkbenchDataSourceUtils : datasource Destroy : b59606b3-6a75-4bef-83de-8b67d6d17813 - d12n1s2l app.metatron.discovery.prep.parser.exception.UnknownServerException: java.io.IOException: 연결이 상대편에 의해 끊어짐 at app.metatron.discovery.prep.parser.exception.GlobalExceptionHandler.handleAll(GlobalExceptionHandler.java:147) at app.metatron.discovery.prep.parser.exception.GlobalExceptionHandler.exceptionHandler(GlobalExceptionHandler.java:70) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) Expected behavior

Screenshots

Desktop (please complete the following information): On demo site

Additional context

kyungtaak commented 5 years ago

일부 hive 테이블에서 조회 오류가 발생했던 사항으로 인프라 이슈로 판단됩니다. 추후 이러한 오류사항에 대한 예외처리 및 사용자에게 전달하는 사항에 대해 추가 이슈를 생성하여 처리할 예정입니다.