APIでクロール実行できるようにする

[gengogo5]

DBに登録されたクロール設定を、scrapy-doにスケジューリングするAPIを実装する。

• [x] rss, sitemap, regularの分類分け
• [x] 定期ジョブの登録
• [x] 登録済み定期ジョブの削除
• [x] APIのレスポンスを綺麗にする

[gengogo5]

残課題

• [x] 登録時のレスポンス(成功 or 失敗)をクライアントに返す
• [x] DryRunの時に出力先ファイルが無くて落ちる(minio化で対応?)
• [x] crawler側で妙なタイムアウトログが出る

crawler   | 2020-05-30T14:55:57+0000 [twisted.web.http.HTTPChannel#info] Timing out client: IPv4Address(type='TCP', host='172.26.0.3', port=54734)

[gengogo5]

残課題は別issueにして閉じる