Closed AntonGsv closed 4 years ago
@KristobalJunta
Можно использовать постоянное соединение и вызывать смену ip по необходимости, для этого нужно в download_request при получении meta параметра вызывать следующий метод:
self._pool.closeCachedConnections()
На сейчас ip адреса StormProxy не меняются для домена при использовании их из scrapy(фиксируется первый полученный ip адрес и дальше все запросы на домен идут с него). Подключение этого DOWNLOAD_HANDLER исправляет ситуацию.
Пример: