search

groupbwt / scrapy-boilerplate

Scrapy project boilerplate done right
MIT License
43 stars 25 forks source link

Feature/twisted rmq #105

Open LyricalToxic opened 2 years ago

LyricalToxic commented 2 years ago

Список изменений:

TwistedSpiderConsumer

  1. Добавлен дата класс RequestCounterData для хранения счетчика количества попыток ack сообщение.
  2. Убраны задержки в 5 секунд после ack и nack
  3. Исправлена передача аргументов для кастомных сигналов. Сейчас для каждого сигнала прокидывается экземпляр сообщения и экземпляр паука.

RmqReaderMiddleware

  1. Исправлена опечатка counter_decrement_ank_try_to_acknowledge ->counter_decrement_ack_try_to_acknowledge

RMQSpider

  1. nack_requeue по умолчанию установлена в True. Если по умолчанию будет nack_requeue = False, тогда при использовании шаблона может быть неочевидно куда пропадают сообщения.
  2. Мидлвары, которые подключаются в этом пауке должны иметь наибольший приоритет (старшинство).

Tests

  1. Реализованы и пройдены все тесты которые были.