feat : 브랜드 별 크롤링

목적

공공데이터 지점명 문제로 인해 각 즉석사진 브랜드 공식사이트에서 지점명과 주소 크롤링

작업 상세 내용

feat : 크롤링

[x] jsoup 자료조사

[x] 즉석사진 브랜드 크롤링

refactor : Shop 도메인

[x] DB Shop vs Kakao API Shop 비교 로직 수정

DB 데이터가 공공 데이터에서 크롤링 데이터로 바뀌었으므로 크롤링 데이터 특성(지점명, 주소 정확도)에 맞게 수정

[x] 카카오맵 API 조회 결과 필터링 카테고리명 즉석사진 대신 사진으로 변경

즉석사진(셀프포토부스)인데 카카오맵 API에서는 사진관,포토스튜디오 카테고리에 분류되어있는 경우 있음

e.g. 인스포토, 셀픽스

조회 키워드가 광범위해져도 DB 데이터는 모두 즉석사진 브랜드이므로 사용자에게는 즉석사진만 반환하게 됨

[x] Shop 테이블의 주소 컬럼 roadAddressName에서 지번 주소도 포괄하는 address로 변경, 관련 코드 수정

refactor : 키워드 조회 API, 반경 2km 내 브랜드 별 조회 API

[x] DB 데이터와 일치하는 데이터일 시 카카오맵 바로가기 Url, 지점 위도/경도 shop-id로 캐시

[x] 홈 탭과 내 주변 탭의 반경값을 다르게 사용하기 위해 브랜드 별 조회 API 반경 파라미터 추가하여 프론트에서 반경 값 유연하게 조정할 수 있도록 수정

refactor : 찜 목록 조회 API, 상세조회 API

[x] 카카오 API 호출 전에 캐시된 데이터 있는지 확인하여 없으면 기존 로직대로 응답 반환, 있으면 자체적으로 거리값 계산하여 반환

[x] 상세조회 API에서 거리값 정확성을 위해 거리 파라미터 제거 후 사용자 위도, 경도로 직접 계산하도록 수정

참고 사항

I. 크롤링 이후 개선 지점

문제 : 공공데이터의 부정확하고 표준화되지 않는 장소명으로 인해 이를 활용하지 못하고, 장소명만을 위해 카카오 API를 호출해야 하는 API 존재
해결 방법 : 공공데이터를 대신하여 공식 사이트 크롤링을 통해 데이터 수집하여 DB 초기화

개선점

1) DB 장소명 표준화 : 정돈된 장소명만을 위해 카카오 API 호출해야 했던 리뷰 목록에서 외부 API 호출 비용 절감
2) 유지보수 용이성 증대 : 기존 CSV 파일(공공데이터)과 달리 크롤링 데이터를 DB에 저장하는 방식은 데이터 전처리 과정 등 유지보수하기 용이

3) 데이터 양적 확장으로 인한 서비스 개선 : 더 많은 데이터를 수집하여 다양한 지점 정보를 제공함으로써, 서비스의 품질 개선

브랜드명	카카오맵	크롤링(공식사이트)	공공데이터	완전성 개선도(%)
인생네컷	496개	489개	198개	약 59.5% 🔼
하루필름	124개	116개	89개	약 23.3% 🔼
포토이즘박스/포토이즘컬러드	364개	366개	231개	63.1% 🔼
포토그레이	130개	134개	48개	64.1% 🔼
포토시그니처	75개	206개	141개	약 31.5% 🔼
인스포토	10개	16개	3개	약 81.2% 🔼
내컷인생(인스포토 계열)	4개	3개	0개	100% 🔼
해리포토	8개	8개	4개	50% 🔼
포토드링크	14개	14개	7개	50% 🔼
포토랩플러스	46개(지점명 없는 데이터 2개 포함)	42개	11개	약 73.8% 🔼
포토스트리트	56개(지점명 없는 데이터 8개 포함)	58개	38개	약 34.4% 🔼
플레이인더박스	22개(지점명 없는 데이터 1개 포함)	24개	2개	약 91.6% 🔼
셀픽스	72개 (지점명 없는 데이터 3개 포함)	82개	70개	약 14.6% 🔼

(완전성 개선도) =(크롤링 - 공공데이터) / 크롤링 * 100

II. 브랜드 별 정적 크롤링 가능 및 구현 여부

즉석사진 브랜드	정적 크롤링 가능 및 구현 여부
인생네컷	구현완료
하루필름	구현완료
포토이즘박스/포토이즘컬러드	구현완료
포토그레이	구현완료
셀픽스	구현완료
인스포토(내컷인생 포함)	구현완료
포토스트리트	구현완료
포토드링크	구현완료
포토랩플러스	구현완료
포토시그니처	구현완료
플레이인더박스	구현완료
해리포토	구현완료
그믐달스튜디오	불가(이미지)
비룸 스튜디오	불가(동적 크롤링 필요(JS))
모노맨션	불가(공식사이트 X)
스냅치즈	불가(동적 크롤링 필요(JS))
스위치 스튜디오	불가(이미지)
시현하다 프레임	불가 (동적 크롤링 필요(JS))
포토아이브	불가(사이트에 지점 정보 X)
포토인더박스	불가 (공식사이트 X)
포토하임	불가 (공식사이트 X)

지점 정보가 이미지로 첨부되어있어도 alt등 소스파일에서 데이터 가져올 수 있는 경우는 구현 가능

III. 크롤링 이후 바뀐 Shop 조회, 비교 로직

[우선순위 1] 장소명 일치여부 or 도로명주소 포함여부
- db.roadAddressName.contains(kakako.roadAddressName)
- 카카오 API 주소에는 상세주소가 포함되어 있지 않지만, DB 주소는 상세주소도 포함된 경우가 있으므로
[우선순위 2] 장소명 일치여부 or 지번주소 포함여부
- db.roadAddressName.contains(kakao.addressName)
- DB 주소가 지번 주소인 경우도 있으므로
중복데이터 발생 시 주소로 인한 중복일 확률이 매우 높고 지점명까지 붙은 장소명은 고유성이 강하므로
- [우선순위 1] 장소명 일치여부
- [우선순위 2] DB 장소명이 Kakao API 장소명에 포함된 브랜드명을 포함여부

IV. [크롤링 데이터 DB 저장 후 필수작업] 카카오 API 데이터와 비교가능한 지역명으로 수정

cf. 카카오 API 주소명에서 '세종특별자치시'와 '제주특별자치도'는 줄여서 사용하지 않음
```
-- data.sql
```

UPDATE shop SET address = REPLACE(address,'서울특별시','서울'); UPDATE shop SET address = REPLACE(address, '서울시', '서울'); UPDATE shop SET address = REPLACE(address, '서울특벼릿', '서울'); UPDATE shop SET address = REPLACE(address, '부산광역시','부산'); UPDATE shop SET address = REPLACE(address,'대구시','대구'); UPDATE shop SET address = REPLACE(address,'대구광역시','대구'); UPDATE shop SET address = REPLACE(address,'인천시','인천'); UPDATE shop SET address = REPLACE(address,'인천광역시','인천'); UPDATE shop SET address = REPLACE(address,'광주광역시','광주'); UPDATE shop SET address = REPLACE(address,'대전시','대전'); UPDATE shop SET address = REPLACE(address,'대전광역시','대전'); UPDATE shop SET address = REPLACE(address,'울산광역시','울산'); UPDATE shop SET address = REPLACE(address,'경기도','경기'); UPDATE shop SET address = REPLACE(address,'강원도','강원'); UPDATE shop SET address = REPLACE(address,'충청북도','충북'); UPDATE shop SET address = REPLACE(address,'충청남도','충남'); UPDATE shop SET address = REPLACE(address,'전라북도','전북'); UPDATE shop SET address = REPLACE(address,'전라남도','전남'); UPDATE shop SET address = REPLACE(address,'경상북도','경북'); UPDATE shop SET address = REPLACE(address,'경상남도','경남');

### V. Shop 테이블 주소 컬럼명 변경 예정
```sql
ALTER TABLE shop RENAME COLUMN road_address_name TO address;

4-frame-photos-map / backend