Closed LyricalToxic closed 2 years ago
Спасибо, буду смотреть!
есть пару моментов, которые хотелось бы обсудить:
немного оффтопа по rmq: relieve
используется в нем в качестве обозначения тасков, которые уже обработаны и должны быть ack'нуты. здесь же если я правильно понял так обозначается таск перед тем как начать парситься вообще. из-за этого у меня возникает легкий диссонанс
Добавил модуль direct для взаимодействия scrapy и db без посредников.
Структура очень похожа на rmq module.
Главный компонент direct_db_connection_extension - расширение, в котором реализовано подключение и взаимодействие с бд.
Также как и в rmq есть аналогично direct_item, direct_task, direct_tasks_queue, direct_status_code.
Добавлен декоратор dirrect_errback который должен отслеживать erbback паука.
Добавлена итем пайплайн для взаимодействия с rabbitmq для случаев если после парсинга требуется запушить результат в очередь.
Пример использования есть в папке example. Нужно создать свое extenstion унаследовавшись от DirectDBConnectionExtension. Перегрузить методы которые строят запрос в бд.