경기데이터드림 오픈 API 개발

[syleeie2310]

지역화폐 활용할 수 있는 데이터 중에 OpenAPI 선정하여 데이터브릭스에서 개발

• 윤진섭님과 이야기 필요 (공공 데이터 포털에 있는 것 중에 1개 선정)

[syleeie2310]

• 데이터브릭스 노트북 관리 필요 ---> 브런치 만들어서 작업할 것
• perpage 1천개식 작업 (6백5십만개)
• key 발급 ---> 노트북 명시하기 https://docs.databricks.com/en/security/secrets/index.html

[syleeie2310]

https://docs.databricks.com/en/dev-tools/cli/install.html

[syleeie2310]

지역화폐 API 리스트 하면서 동시에 메타 데이터는 파악 해서 구글 시트로 정리 필요

[seongun-kang]

https://docs.google.com/spreadsheets/d/1OrspJdUM3IXuUf8PqAE_jvwAB8omSH46/edit?usp=drive_link&ouid=104317592448484294127&rtpof=true&sd=true

[syleeie2310]

• 실패했을 때 다음 요청을 받아서 하면 되고, 델타 테이블로 append -> 스키마 레벨 결정 필요 (bronze_api)

[syleeie2310]

• api 리스트 (경기데이터드림, 공공데이터포털 --> 소스)
• 한국조폐공사 데이터는 최근 데이터 존재 확인 -> 대부분 1회성 수집하면 될듯
• 수집기에서는 로직을 크게 두지 않는 것으로 개발
• api 메타 데이터 -> bronze_meta 테이블로 구성해서 두면 될듯

[seongun-kang]

지은님하고 스키마 얘기해서 브론즈 스키마 정리 카탈로그랑 스키마 구축, 델타레이크 저장 후 스키마까지 저장하는거 해봐야함 슬랙 워크플로우 웹훅 연동 -완- api 사용하는 포털 정리 후 키 발급 및 시크릿 키 설정, 팀원들에게 권한 부여 구글드라이브 api 연동 -미완-

[syleeie2310]

• 메타데이터 API 리스트는 진섭님꺼랑 합쳐서 델타 테이블 올리기
• 개발 계획 필요? -> API 개발 일정? 끝나는 일정. 목요일까지 API 수집 데이터 파악해서 예상 일정.

[seongun-kang]

api 수집 계획 진행상황 -> 공공데이터포털, 경기데이터드림 코드 작성해봄(kosis 아직) ->선행 코드가 있어서 파라미터만 바꾸면 코드 자체는 오래 걸릴것같지 않으나 자체적 이슈가 있음 --------> 공공데이터포털에서 제공하는 데이터 중 일부가 api 키와 동기화되어있지 않은 경우가 있어서 직접 문의를 통해 해결해야함 (혜련님 + 성운 api 수집 10개 작업 중 3개 있었음) -> 이부분이 오래걸릴것으로 예상

-> 공공 190, 경기데이터드림 10, kosis (예상30) 예상 빠르면 ~12/7