Добавлена новая возможность изменения стандартного времени ожидания для rmq.commands.producer.Producer. По умолчанию время ожидания default_delay_timeout=60 секунд. Для переопределения этого параметра необходимо указать опцию при запуске -d/--delay и значение целое число (количество секунд).
Проблема, которую решает это изменение
При парсинге пагинаций реализована логика:
спарсить текущую пагинацию ->
сохранить следующую пагинацию ->
повторить
При такой логике 1 экземпляр продюсера:
запушит ссылку в очередь.
сделает запрос в базу для получения новых записей
в случае если записей не будет, то продюсер станет ожидать default_delay_timeout секунд то есть 60 секунд
как итог частота парсинга ссылок 1 ссылка/минуту
Изменив default_delay_timeout на меньшее значение -> 5 секунд, количество простоя уменьшится -> скорость возрастет.
Использование
Пример использования:
scrapy example_producer -m worker -d 10
Контракт
Опция -d/--delay принимает положительное число. В противном случае будет залоггировано сообщение с предупреждением и будет применено стандартное время ожидание.
Обзор изменений
Добавлена новая возможность изменения стандартного времени ожидания для rmq.commands.producer.Producer. По умолчанию время ожидания default_delay_timeout=60 секунд. Для переопределения этого параметра необходимо указать опцию при запуске -d/--delay и значение целое число (количество секунд).
Проблема, которую решает это изменение
При парсинге пагинаций реализована логика:
При такой логике 1 экземпляр продюсера:
Изменив default_delay_timeout на меньшее значение -> 5 секунд, количество простоя уменьшится -> скорость возрастет.
Использование
Пример использования:
Контракт
Опция -d/--delay принимает положительное число. В противном случае будет залоггировано сообщение с предупреждением и будет применено стандартное время ожидание.