自治体のサイトにある情報をスクレイピングして記事にしたい

[kkd]

各自治体のサイトの情報をスクレイピングして、自動的に記事に落としたい。

形式

とりあえずは、jekyllのpost形式(markdown)にする。 Jekyllについてはこちら参照のこと。

• ファイル名: yyyy-mm-dd-自治体名(alphabet)-mmddNN.md (NNは連番)
  • 連番がないと、記事になったときに重複するので。。。

ファイルフォーマット

---
title: $(タイトル)(日付)
category:
  - $(自治体名)
tag:
  - 緊急速報
---
$(自治体)で公開された情報です。（オリジナルは[こちら](url)）

$(本文)できればHTML->Markdown変換したものが入ると良い。

出力先

_post/

対象リスト

最優先

• 宇和島市緊急速報一覧
• 大洲市緊急速報一覧
• 西予市緊急情報一覧
• 上島町緊急速報一覧

次点

• 松野町防災・災害情報
• 鬼北町防災・災害情報
• 今治市市民生活・支援情報

松山、愛南町は混ざっていて絞りずらいので後回し。。。

http://www.city.matsuyama.ehime.jp/allNewsList.html http://www.town.ainan.ehime.jp/kurashi/news-list.html

[bravotan]

宇和島市を対象にしたスパイダーを作成しました。

• テンプレートファイルと保存先はコマンドで変更できるようにしています。
• ファイル名の連番が一覧の出ている順番をそのまま使ってるので、アクセス時だけかぶらないように保存ができるってだけの残念な仕様になってます。

https://github.com/bravotan/scrape-cheerup-ehime

[kkd]

ありがとうございます！！

[bravotan]

markdownファイル名を一意にするのは、URLから「/」を「-」とかに変更するだけでいいかもしれないですね。https://host/category/sub/number/label.extとかなら、(prefix)-category-sub-number-label.mdみたいに。