search

team-irc / tchatong

트위치 채팅 분석 서비스
MIT License
5 stars 3 forks source link

Refactor crawler #96

Closed AMATEURTOSS closed 2 years ago

AMATEURTOSS commented 2 years ago
  1. 크롤러 첫 실행시 streamer list 삽입하는 부분 한 줄의 쿼리로 실행하도록 변경
  2. 챗 하나당 INSERT 문을 실행하던걸 50개씩 모아서 INSERT 문을 호출하도록 변경

55be8225788b44c4998e7e74db9fc4c8b04550c3 <-- 이 커밋이 핵심이니까 여기만 보셔도 무방해요

AMATEURTOSS commented 2 years ago

default로 하면 db에 집어넣는 시간이 기록되잖아요 get_current_UTC_time()를 사용하면 챗이 도착한 시점을 기록하고요 채팅이 오자마자 바로 db에 들어가는게 아니고 50개가 쌓여야 db에 집어넣는데 50개가 쌓이는 시간이 있으니까 챗이 도착한 시점을 기준으로 한거에요

HanGyeolN commented 2 years ago

맞네요 ㅋㅋ 굿굿