Closed pyo92 closed 1 year ago
pr #68 을 적용하고, AWS EC2 에서 운영해보니 이전같이 session 생성 실패와 같은 오류는 발생하지 않았기 때문에 #67 에서 발생했던 문제는 조치되었음을 확인할 수 있었다.
다만, AWS EC2 인스턴스는 T2.micro 이미지로 ram 이 1gb 로 매우 부족하다.
T2.micro
ram 이 1gb 로 매우 부족
selenium 을 이용해서 스크랩핑을 실행해보니, ram 부족으로 서버가 뻗는 현상이 나타났다. 이전에 hdd 용량을 30gb 로 설정했기에, swap 메모리로 2gb 를 증설할 수 있었다.
ram 부족으로 서버가 뻗는 현상
swap 메모리로 2gb 를 증설
그래도 부족한 감이 있어서 최대한 안정적인 환경을 만들기 위해 shm_size 를 비롯해 chromedriver 옵션을 수정하기로 했다.
shm_size
pr #68 을 적용하고, AWS EC2 에서 운영해보니 이전같이 session 생성 실패와 같은 오류는 발생하지 않았기 때문에 #67 에서 발생했던 문제는 조치되었음을 확인할 수 있었다.
다만, AWS EC2 인스턴스는
T2.micro이미지로ram 이 1gb 로 매우 부족하다.selenium 을 이용해서 스크랩핑을 실행해보니,
ram 부족으로 서버가 뻗는 현상이 나타났다. 이전에 hdd 용량을 30gb 로 설정했기에,swap 메모리로 2gb 를 증설할 수 있었다.그래도 부족한 감이 있어서 최대한 안정적인 환경을 만들기 위해
shm_size를 비롯해 chromedriver 옵션을 수정하기로 했다.