scrapy-doをインストールする

gengogo5 / general_crawler

汎用クローラのプロトタイプ

0 stars 0 forks source link

scrapy-doをインストールする #17

Closed gengogo5 closed 4 years ago

gengogo5 commented 4 years ago

Scrapyの定時実行を管理するスケジューラとしてscrapy-doをインストールする。

要件

[x] インストール先はscrapyコンテナ
[x] 定義ファイル類はgit管理外でローカルに永続化する

完了条件

[x] プロジェクトのpushができる
[x] schedule.jsonでのスケジュール登録ができる

gengogo5 commented 4 years ago

❯ curl -s http://localhost:7654/schedule-job.json \
       -F project=crawling \
       -F spider=rss_crawl \
       -F "when=now" \
       -F payload='{"req_id": 1}' \
       -F description=testschedule
{"status": "ok", "identifier": "8b99bfd5-d3ff-4217-b1be-5c8ae0e570e2"}