Crawling

[JangAyeon]

다이닝코드 비건 쿼리 크롤링 파악

1. 비건 쿼리 1 page -> 최대 10 item로 최대 10페이지임 총 100개의 data 크롤링됨 너무 적지 않나...ㅠㅠ

2. 서울시 구 이름 + 비건 쿼리 총 69개의 data 크롤링됨

Comment

문제점 : 애초에 비건 식당으로 분류된 거 자체가 너무 적어서 적은 data 수집 대안1 : 공식 문서 지역명 + 비건 쿼리로 크롤링 대안2 : data 수집 갯수가 너무 적은 경우 차라리 맛집 커뮤니티 개발 (백엔드 도전!!)

먹거리 keyword

비건 & 지역화폐 & 혼밥

[JangAyeon]

다이닝코드 비건 쿼리 크롤링 결과

ERROR & SOLUTION

1. 문제점 : 갯수 제한 1개 쿼리 : 최대 10 page : 1 page 당 최대 10개 해결법 : 지역 세분화로 {지역명} + 비건 쿼리 이용
2. 문제점 : Selenium 에러 발생 Selenium 사용해 #더보기 버튼을 클릭시 가끔 에러 발생 해결법 : request와 다이닝코드 ajax 이용해 진행

DataFrame 구성

1. 주제 : 비건
2. size : (1017,6)
3. column : 이름 : 식당 이름 종류 : 식당 이름 바로 밑 소개 키워드 특징 : 해시태그 링크 : 식당 상세 페이지 링크 위치 : 식당 동네 주소 : 식당 full 주소

고려할 점

1. ajax보다 식당상세 페이지의 특징/종류 등이 더 자세함 -> dataframe의 link 속성 이용해 다시 크롤링 해보기
2. 식당 이미지 크롤링
3. 다이닝코드에 식당 이미지 없는 경우 대안 마련
4. 추천시스템 모델 공부