크롤링시 제외시킬 것

[dongbin1234]

기사 크롤링시 제외시킬 것

• 사진 이름
  • em 태그 안 사진 이름 or 설명 제외     ex) \<em class = "img_desc">차주가 공개한 사진\</em>
• 2021-06-25일 이후 기사부터 크롤링
  • 2021-06-25일 이전 기사는 기사 아랫줄에 필요없는 글 존재     ex) ▶ 네이버에서 디지털데일리 채널 구독하기
              ▶ IT정보의 즐거운 업그레이드 [딜라이트닷넷]           <저작권자 © 디지털데일리 무단전재-재배포금지>

전처리시 제외시킬 것

• 기사 제목

  • 여러 기사 제목에 반복적으로 있는 제목 처음 부분 제외     ex) [부고], [인사], [오늘의 날씨], [단독]

• 기사 출처 or 언론사명

  • 기사 본문에 존재하는 [언론사명] 제외     ex) [매일경제], [한국일보]
  • 기사 마지막에 있는 출처 제외     ex) [본 기사는 매경이코노미 제2163호 (2022.06.15~2022.06.21일자) 기사입니다]

• 기자 이름

  • 기자 이름 제외     ex) 이현주 기자
  • 기자가 여러 명일 경우 제외되지 않은 이름 확인 후 기자 이름이면 제외     ex) 이철재 , 김상중 기자

• 태그도 제외

  • ex) #환경부 #블랙리스트

• 광고만 있는 언론사 제외

[MaryYoungae]

추가사항

1. 사진이름 & 설명 태그가 다른 형식인 언론사 확인 : td 태그도 처리

   • [참고] https://n.news.naver.com/mnews/article/022/0003706589

2. 기사 내용 아래 새로운 형식의 제외 내용 확인

   • [참고] https://n.news.naver.com/mnews/article/079/0003654863
   • [참고] https://n.news.naver.com/mnews/article/006/0000113572
   • ※ 특수문자 뒤에 오는 불필요한 내용

[MaryYoungae]

추가사항

• 제목은 형태소 분석 후 워드카운팅 될 부분이 아니므로 [부고], [인사], [오늘의 날씨], [단독] 등의 단어를 지울 것이 아니라, '[ ]' 로 나오는 기사를 확인하여 불필요한 기사 자체를 제외 시키는 것으로 결정

1. 제목 확인으로 제외할 기사 목록

   • 200자
   • 부고
   • 인사
   • 오늘의 날씨
   • 부음, 부고
   • 주요경제지표
   • 전처리시 추가 제외 기사 확인 필요

2. 불필요한 카테고리 제외하여 크롤링

   • 사회 중 인물
   • 생활/문화 중 책, 종교, 날씨