/feed/entry/id may contain slash starting 2020-12-15T0509Z

etoyoda / feedfollow

ruby app to continually download various weather-related atom feeds

GNU General Public License v3.0

2 stars 0 forks source link

Closed etoyoda closed 3 years ago

etoyoda commented 3 years ago

https://toyoda-eizi-ja.blogspot.com/2020/12/2020-12-15t0509z-xml-pull-atom-uuid.html ダウンロード結果のtarファイルに http:/www.data.jma.go.jp/developer/xml/feed などというディレクトリ階層が書きこまれるのは不適切である

etoyoda commented 3 years ago

f22cfc405ca9bc42dcc89c723d77a7efe6025e12

etoyoda commented 3 years ago

日界処理 idxshadow.rb が機能せず、00UTC以降前日の電文を大量にダウンロードしようとする問題が未解決

etoyoda commented 3 years ago

受信ログ jmx-2020-12-17.idx1, jmx-2020-12-18.idx1 を見ると、00Z以後ダウンロードしてしまう前日のファイルは1330UTC以後のものになっている。

etoyoda commented 3 years ago

idxshadow.rb では id 要素と保存ファイル名の両方を、昨日の受信ログから引き継ぐことにした。先に id 要素のチェックが走って重複チェックがされるが、保存ファイル名が重複している場合も、どのみち保存しようがないので。明日00UTCの結果を早く見たい。

etoyoda commented 3 years ago

ひとまず重複取得が解消したのでクローズ。