Feature/fb 405

[LyricalToxic]

• Добавил модуль direct для взаимодействия scrapy и db без посредников.

• Структура очень похожа на rmq module.

• Главный компонент direct_db_connection_extension - расширение, в котором реализовано подключение и взаимодействие с бд.

• Также как и в rmq есть аналогично direct_item, direct_task, direct_tasks_queue, direct_status_code.

• Добавлен декоратор dirrect_errback который должен отслеживать erbback паука.

• Добавлена итем пайплайн для взаимодействия с rabbitmq для случаев если после парсинга требуется запушить результат в очередь.

• Пример использования есть в папке example. Нужно создать свое extenstion унаследовавшись от DirectDBConnectionExtension. Перегрузить методы которые строят запрос в бд.

[KristobalJunta]

Спасибо, буду смотреть!

[tyorn]

есть пару моментов, которые хотелось бы обсудить:

1. правильно понял, что обновление статуса в success происходит при обработке item'a, а в error при получении http ошибки? тогда как обрабатывается случай, если страница успешно загружена, но по какой-то причине item не был сгенерирован? (например получили 200 после редиректа на другую страницу - ошибки/главную)
2. логика получения тасков из базы. Правильно понимаю, что раз в период (1 секунда) делается запрос на добавление 1-го таска в планировщик, а когда паук попадает в idle состояние, то он делает выборку следующей пачки тасков из базы?

немного оффтопа по rmq: relieve используется в нем в качестве обозначения тасков, которые уже обработаны и должны быть ack'нуты. здесь же если я правильно понял так обозначается таск перед тем как начать парситься вообще. из-за этого у меня возникает легкий диссонанс