Open aktnk opened 3 months ago
Last-Modified
If-Modified-Since
extra.xmlをGETリクエストした際のレスポンスヘッダー値は下記のようになっている
{'Content-Type': 'text/xml', 'Content-Length': '11461', 'Server': 'Apache', 'X-Frame-Options': 'SAMEORIGIN', 'Content-Security-Policy': "script-src 'self' 'unsafe-inline' 'unsafe-eval' www.jma.go.jp www.jma-net.go.jp js.jma.go.jp www.data.jma.go.jp ds.data.jma.go.jp www.google.com www.gstatic.com jma.genieesspv.jp pagead2.googlesyndication.com code.jquery.com ajaxzip3.github.io cdn.jsdelivr.net ajax.aspnetcdn.com code.createjs.com tml5shiv.googlecode.com unpkg.com cdnjs.cloudflare.com ajax.googleapis.com platform.twitter.com github.githubassets.com maps.gsi.go.jp img.gsspat.jp", 'Last-Modified': 'Sat, 24 Aug 2024 07:45:37 GMT', 'Accept-Ranges': 'bytes', 'Vary': 'Accept-Encoding', 'Content-Encoding': 'gzip', 'X-Content-Type-Options': 'nosniff', 'Cache-Control': 'max-age=11', 'Date': 'Sat, 24 Aug 2024 07:46:59 GMT', 'Connection': 'keep-alive', 'Strict-Transport-Security': 'max-age=600 ; preload'}
データ取得量を減らすために実施すべきこと
補足:Connection: keep-aliveが返されているので、requests.Session()を使用することで、接続を維持した状態でConnectionPoolからリクエストすべき。
現在、下記実装で動作確認中 https://github.com/aktnk/weather_warnings/commit/32b8d3c72269653d12d13fcd64c743cbdcbca55c
実現したいこと
Last-Modified
の値を使い、リクエストヘッダーにIf-Modified-Since
として指定してリクエストする調査したこと
extra.xmlをGETリクエストした際のレスポンスヘッダー値は下記のようになっている
データ取得量を減らすために実施すべきこと
If-Modified-Since
: (前回取得時のLast-Modied値) をリクエストヘッダーにつけて取得する補足:Connection: keep-aliveが返されているので、requests.Session()を使用することで、接続を維持した状態でConnectionPoolからリクエストすべき。