世田谷総合運動公園の当日利用状況を取得してJSON形式でR2に保存するバッチを作成する - Githubissues

subaru-hello / NearRun

近くで走れる場所を探せるサービスです。

https://hurdle.biz

0 stars 0 forks source link

世田谷総合運動公園の当日利用状況を取得してJSON形式でR2に保存するバッチを作成する #52

Open subaru-hello opened 2 weeks ago

subaru-hello commented 2 weeks ago

仕様

競技場DBからオブジェクトストレージを参照したら、当日の利用可能時間を取得できる
Json形式。必要なカラムは以下の通り

方法

[x] サーバー：~Cloud RunかAWS Lambda with EventBridgeで実装する。~ firebase functionsがpythonランタイムをリリースしたからそれを使う runtime: python→scrapingに適しているため。
[ ] ストレージ：S3かR2にJson形式で保存
[ ] Cron：毎日7時50(毎日7時30~7時40に更新されている。) Json名: setagaya_sougou_undou_kouen-YYYYMMDD.json

サイトURL: https://www.se-sports.or.jp/facility/sougou/ 当日利用状況：https://www.se-sports.or.jp/about/news/20241113-18032

ページの構造

サイトTOP

DOM
当日利用状況

DOM

subaru-hello commented 1 week ago

cron化 https://firebase.google.com/docs/functions/schedule-functions?gen=2nd#python