Web Crawling - Githubissues

HyunjoonCho commented 3 years ago

Must consider legal issues!
List related posts

HyunjoonCho commented 3 years ago

IMPORTFEED

구글 스프레드시트에서 IMPORTFEED 함수를 호출해서 바로 기사를 긁어오는 기능이 있음
다음 블로그 포스트 참고

몇 가지 특징으로

추가로 살펴볼 사항은

IMPORTFEED로 어디까지 할 수 있는지
- summary 외에 본문도 긁어올 수 있는지
- 날짜, 언론사 등을 제한할 수 있는지; url의 query 부분을 손 보면 가능할 것으로 예상됨
- 좀 더 디테일하게 들어가면 importxml 등을 활용할 수 있을듯
spreadsheet to csv/txt; 이건 간단할듯
위 legal issue는 여전히 별도의 문제

HyunjoonCho commented 3 years ago

finance data reader와 한 번에 묶어서 돌리고 데이터 수집을 완료할 수 있다는 점이 좋음
참고 블로그 포스트

HyunjoonCho commented 3 years ago

기본적으로 웹 크롤링은 기존의 복사본을 만들고, 웹 스크래핑은 분석을 위한 특정 데이터를 추출하거나 새로운 것을 만듭니다.

크롤링은 본문 그대로 가져오고, 스크래핑은 parsing, processing까지 포괄하는듯

HyunjoonCho commented 3 years ago

Source: Google News RSS e.g. https://news.google.com/rss/search?q=삼성전자+when:1d&hl=ko&gl=KR&ceid=KR:ko
- RSS = Rich Site Summary
Steps
1. Selenium 설치: 운영체제에 맞춰 chrome driver
2. BeautifulSoup 설치: RSS는 xml format, BS는 기본적으로 HTML으로 parsing
  xml parsing 하려면 lxml 추가 설치 필요 Ref
3. xml 항목별로 형태 확인해서 추가적인 parsing 작업 진행
  - description에 포함된 href, font 등은 삭제
4. pandas data frame에 담아서 to csv *필요시 txt로 변경

[x] 미국 기업 기사 수집
[x] 제목 parsing 시 언론사 제거
[x] 뉴스 검색시에 날짜 지정하는 법 파악 *휴장일은 제외
- Ref. 4.2. Advanced search with a time range
[x] FDR module 사용해서 해당 날짜 및 전거래일의 주가 가져오기, 변동폭 계산 / 주말 - 주중 구분은?
[ ] datetime parsing
[ ] 기사 본문 긁어오기: 언론사 별 차이가 아마 존재할듯...?
[ ] logger 부착하기 Ref

description과 제목이 동일한 경우가 많음
현재까지 작성한 코드가 Machine 및 OS dependency는 없는지 확인하면 좋을듯
기사 filtering; 키워드 달아도 연관성이 떨어지는 기사가 딸려옴
- 다 concat해서 돌려보고 차츰 개선해나가는 쪽으로
- 이때 시간 기준을 잘 잡아야 함: RSS feed 자체는 영국 그리니치 기준시를 사용하므로 한국 시장 종료 시점으로 맞출 것
기업 규모가 작고, 시장의 관심도가 떨어질 경우 기사의 수가 현저히 작음 e.g. 쿠콘 0개, 하이트진로 1개
RSS의 default max가 한 번에 100개까지인듯 - Apple, IBM 등은 1 day interval에 100개가 잡힘

HyunjoonCho commented 3 years ago