search

newsviz / Spiders

Spiders and crawlers for news download
GNU General Public License v3.0
4 stars 8 forks source link

Написать регулярный тест работоспособности пауков #18

Open stroykova opened 3 years ago

stroykova commented 3 years ago

Например раз в неделю запускать все пауки и проверять, что статьи собираются.

iggisv9t commented 3 years ago

Можно для начала написать скрипт для разовой проверки. Сейчас пауков всё равно никто не запускает. Можно проверять работоспособность после изменений.

pacifikus commented 3 years ago

Можно для начала написать скрипт для разовой проверки. Сейчас пауков всё равно никто не запускает. Можно проверять работоспособность после изменений.

Можно уточнить: скрипт для запуска команды "scrapy crawl ..." и проверки, что какие-то статьи собрались, или в pytest запускать через что-то вроде CrawlerProcess с ассертами?

iggisv9t commented 3 years ago

@pacifikus оба варианта лучше, чем сейчас, так что на своё усмотрение. Я за то, чтобы обойтись минимальными изменениями/добавлениями в коде.

pacifikus commented 3 years ago

@iggisv9t а что если добавить запуск тестов в actions?

iggisv9t commented 3 years ago

@pacifikus можно добавить, но могут быть нюансы. Кровлеры -- это всегда на грани добра и зла, и если мы тут будем мощностями гитхаба дёргать сайты, то не может ли нам за это от гитхаба прилететь?

pacifikus commented 3 years ago

@pacifikus можно добавить, но могут быть нюансы. Кровлеры -- это всегда на грани добра и зла, и если мы тут будем мощностями гитхаба дёргать сайты, то не может ли нам за это от гитхаба прилететь?

Хм, в целом по количеству запросов - там немного, но, наверно, лучше не рисковать. Можно тогда просто в readme добавить, что есть тест и как его запускать у себя