수집기 구현 - Githubissues

bong-a commented 4 years ago

크롤링 대상 서버에 심하 부하 걸지 않기
크롤링으로 추출한 콘텐츠의 저작권 지키기
크롤링 거부 의사를 밝힌 웹 사이트와 웹 페이지는 크롤링하지 않기 ( ※ robots.txt ) [출처] [Java] crawler4j+Jsoup로 간단한 웹 크롤러 만들어보기|작성자 자바킹(http://blog.naver.com/PostView.nhn?blogId=javaking75&logNo=221357838989&categoryNo=18&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postView)

{이슈번호}-{영어닉네임}

bong-a commented 4 years ago

wooklab commented 4 years ago

@bong-a @HyunGyu-Lee

수집대상 사이트 : http://www.goldgold.co.kr/shop/main/html.php?htmid=proc/geum.htm (날짜 확인 후 수집하는 로직 필요)
수집대상: 내가 살 때 순금 가격 (보통 내가 살때 순금 가격밖에 없기 때문에 수집은 순금 가격으로 만 하고 14K와 18K는 계산한다)
- 14K 계산방법: 순금 가격 * 0.6435
- 18K 계산방법: 순금 가격 * 0.825
수집 데이터 저장 방법: 일단 파일로 쓰도록 하겠습니다. 단 JSON으로 아래와 같은 포맷으로 쓰도록 하겠습니다.
- 수집포맷(Minify한 형태로 1 줄로 저장)
```
{"date":"2020-09-15","collectDateTime":"2020-09-15 11:59:00","goldPriceOnPurchase":{"priceOf24K":299000,"priceOf18K":246675,"priceOf14K":192406}}
```
- 필드 설명
- date: 대상 날짜
- collectDateTime: 수집 일시
- goldPriceOnPurchase: 구입할때 금 가격
- goldPriceOnPurchase.priceOf24K: 순금(24K)가격
- goldPriceOnPurchase.priceOf18K: 18K가격
- goldPriceOnPurchase.priceOf14K: 14K가격
데드라인: 위의 내용 검토 후 합의된 일정으로 정하도록 하겠습니다.

bong-a commented 4 years ago

@wooklab 날짜 확인 후 수집하는 로직은 시스템상 오늘 날짜랑 비교하는 로직이면 될까요? 아니면 적재된 날짜 다음날 기준으로 하면 좋을까요? 주말에는 데이터가 업데이트 안되는걸로 알고있어서요~ 시스템상 날짜랑 비교하는게 좋아보이긴 하네요! ㅎㅎ

wooklab commented 4 years ago

@wooklab

날짜 확인 후 수집하는 로직은 시스템상 오늘 날짜랑 비교하는 로직이면 될까요?

아니면 적재된 날짜 다음날 기준으로 하면 좋을까요?

주말에는 데이터가 업데이트 안되는걸로 알고있어서요~ 시스템상 날짜랑 비교하는게 좋아보이긴 하네요! ㅎㅎ

주말에 업데이트가 없군요 ㅠㅠ 시스템 날짜 비교면 될거 같아요!

bong-a commented 4 years ago

@bong-a @HyunGyu-Lee

수집대상 사이트 : http://www.goldgold.co.kr/shop/main/html.php?htmid=proc/geum.htm

내부적으로 그래프와 테이블은 iframe으로 호출하고 있네요. 따라서 다음 URL 기준으로 수집하면 될 것 같습니다~ http://goldgold.co.kr/charts/1_price1.php

deving-playground / rpinder-batch