update rotating proxies handler - Githubissues

groupbwt / scrapy-boilerplate

Scrapy project boilerplate done right

MIT License

42 stars 25 forks source link

update rotating proxies handler #64

Closed AntonGsv closed 3 years ago

AntonGsv commented 3 years ago

Старый вариант класса делал соединение не постоянным из-за чего:

запросы на некоторые порталы не проходили
время парсинга увеличивалось, т.к. за каждой попыткой открывалось новое соединение

В текущем варианте соединене постоянное, прокси меняектся при получении close_cached_connections meta параметра.