最新のお知らせの自動生成

jacoyutorius commented 4 years ago

改善詳細 / Details of Improvement

トップページ上部にある「最新のお知らせ」の更新を自動化したい
- ここはnews.jsonの内容を表示している
Github Actionsでやるのが良さそう
データの取得元はここの「更新情報」
- https://www.city.hamamatsu.shizuoka.jp/koho2/emergency/korona.html
Github Actionで↑のURLからデータをスクレイピング＆整形して news.jsonをdata/配下に生成してコミットする感じかな？

euledge commented 4 years ago

やってみます。方針としてはGithubActions内でのbuildにDockerでubuntu18.04使っているのでおそらく標準インストールされているpythonでスクレイピングすればよいのかと思われます。

このスクレイピングするスクリプトをtoolの下に置いておいて実行するイメージ

euledge commented 4 years ago

対象となるニュース箇所は以下のような構造

<div class="box_info_cnt">
    <ul>
       <li>4月4日
          <ul>
              <li><a href="/koho2/emergency/info1.html">新型コロナウイルス感染症による患者確認について【2例目】</a> （4月1日掲載分を更新しました）</li>
          </ul>
      </li>
       <li>4月3日
          <ul>
            <li><a href="/koho2/emergency/20200403_1.html">新型コロナウイルス感染症による患者確認について【3例目】</a> </li>
         </ul>
      </li>
    </ul>
</div>

変換するnews.json

    "newsItems": [
        {
          "date": "2020\/04\/04",
          "url": "https://www.city.hamamatsu.shizuoka.jp/koho2/emergency/info1.html",
          "text": "新型コロナウイルス感染症による患者確認について【2例目】"
        },

注意点

元のリンクが自ページの場合と外部ページの場合があり自ページの場合は相対リンクとなっている
日付書式の変換と年が無い点 --> とりあえず年内終息を祈って2020年としておく
textにはaタグ内のTEXT入れればいいと思っていたらaタグ外にも入ってた！

euledge commented 4 years ago

@jacoyutorius Json吐くところまではできたけど、これをどのworkflowに組み入れればよいのかな？ build,deploy,develop,reviewdog,staging

jacoyutorius commented 4 years ago

GithubActionsは特に設定していないです、使い方わかっていなくて。。おっしゃるとおりJSON作成スクリプトをGithubActionsで実行して自動コミット、したいんですが><

jacoyutorius commented 4 years ago

@euledge workflowに組み入れまでのタスク、お願いできますか？必要な権限あれば付与しますので〜

euledge commented 4 years ago

dev-hamamatsu,prod-hamamatsuからのnetlifyへのデプロイは別issueで立てますね

code-for-hamamatsu / covid19