Для случаев, когда парсер простой и/или ссылок для обработки не так много, мы тягаем их из БД. Можно попробовать реализовать Scrapy extension, который бы тянул ссылки из БД и добавлял их как задачи в паука. Можно отталкиваться от того, как это сделано в модуле rmq.
Для случаев, когда парсер простой и/или ссылок для обработки не так много, мы тягаем их из БД. Можно попробовать реализовать Scrapy extension, который бы тянул ссылки из БД и добавлял их как задачи в паука. Можно отталкиваться от того, как это сделано в модуле rmq.