데이터 크롤링

[minzy213]

TO DO

• 크롤링한 데이터 파일로 저장
• 저장된 데이터 DB에 insert하는 코드 파일 공유
• 배민, 쿠팡이츠 어플 크롤링

@Grivv

[Grivv]

chicken_infos.json

크롤링 결과 json 파일 예시입니다.

menus_info 항목에 원래 [메뉴명, 썸네일, 가격] 형태로 들어가있어야 하는데 가격 정보가 빠져있네요..! 그 부분은 코드 수정하겠습니다.

[Grivv]

chicken_infos.json

json 한글 깨짐 현상 해결했습니다

[minzy213]

master commit : https://github.com/minzy213/bae_bi/commit/79ad3a5d8e76514067d2436cedfe19326bb6ed33

[minzy213]

수정이 필요한 것은 아니나, 보통 json 파일에서는 key에 고정 key를 입력합니다.(delivery_time, delivery_tip 등) 가게 이름, 메뉴 이름이 "name": 가게이름 형식으로 되어 있지 않고, 가게 이름과 메뉴 자체가 key로 쓰이도록 되어 있는데 가게, 메뉴를 key로 쓰지 않고 지점들, 메뉴들을 리스트로 만드셔서 "name" 을 키값으로 쓰는 것이 좋을 것 같습니다.

누락된 데이터

• 가게 평균 평점
• 가게 주소

요청드린 데이터 포맷

• price 원가, price_dc 할인가 > price 가격, price_dc 할인되는 가격
• 가게 할인 정보, 메뉴 할인 정보 따로 저장 필요

[minzy213]

Json > DB 옮기는 코드 commit 완료 master : https://github.com/minzy213/bae_bi/commit/c2b2c4e82c8e3c5d0e7001da08fb8c43dcefda08

올려 주신 json 에 key가 상이한 항목들이 있어서 임시 저장 json_tmp : https://github.com/minzy213/bae_bi/commit/05fd9e2f5220b7246b0c459979b2f6ada4e19b90