愛知県内発生事例PDFに登場した（確認中）行でエラー

amay077 commented 2 years ago

2022-01-19 頃から愛知県内発生事例PDF(1月) に（確認中）とだけ記された行が登場し、これによりデータの取り込みに失敗する。

amay077 commented 2 years ago

（確認中）は、PDFビューア的には住居地列に在りそうだが、調べてみるとパースされたデータでは年代・性別列に在るようなので、「年代・性別列が確認中である」行は読み飛ばす。

          発表日  年代・性別    国籍   住居地    接触状況           備考
No                                                   
107187   1月1日  50代女性         瀬⼾市  陽性者と接触    本県発表45305
107188   1月1日  40代男性         清須市            本県発表45306
107189   1月1日  50代女性         愛⻄市            本県発表45307
107190   1月1日  30代男性         東浦町            本県発表45308
107191   1月1日  20代女性         刈谷市            本県発表45309
...       ...    ...   ...   ...     ...          ...
123892  1月20日  （確認中）  None  None    None  名古屋市発表50721
123893  1月20日  （確認中）  None  None    None  名古屋市発表50722
123894  1月20日  （確認中）  None  None    None  名古屋市発表50723
123895  1月20日  （確認中）  None  None    None  名古屋市発表50724
123896  1月20日  （確認中）  None  None    None  名古屋市発表50725

amay077 commented 2 years ago

修正できたので close

takainou commented 2 years ago

原因調査、および、対応ありがとうございます。

名古屋市HPで公表されていた新規陽性者一覧が2022/1/18公表分より一覧からサマリ形式に変更となり、名古屋市から愛知県に新規陽性者一覧が届かず、（確認中）となっているものと推察されます。「備考」列が"名古屋市発表xxxxx"となっており名古屋市公表分と分かります。

『「年代・性別列が確認中である」行は読み飛ばす』事で対応頂いたのですが、1/18以降の名古屋市公表分が0人となっております(1/20は3074人(うち名古屋市1275人)ですが、1799人(=3074-1275)に)。

1月20日愛知県の陽性者は3074人(再感染50含)。
県管轄1292人,名古屋市1275人,豊橋市152人,岡崎市137人,一宮市83人,豊田市135人。詳細は次で。https://t.co/Vm3CAnwmr2 https://t.co/59EHqUuDaH https://t.co/vSIIqtSlDg https://t.co/ipwwT9ps9D https://t.co/d0Rru53sPO https://t.co/TPdyRT9ugO
— 大村秀章 (@ohmura_hideaki) January 20, 2022

そこで、お手数ですが、『「年代・性別列が確認中である」行は「住居地」＝"名古屋市"として取り込む』と修正する事を検討して頂けないでしょうか？

この修正にて「新規感染者数」「陽性率」などはきちんと表示されますが、「市町村別感染状況」で名古屋市外居住の方分だけ名古屋市の値が多くなり「年代・性別」が入らないので判断指標「70歳以上」は小さくなります。さらに正確な表示とするには、愛知県HPで「感染者一覧」が公開されなくなったことによる対応 #841 のような対応が必要となる認識です。

ご検討、よろしくお願いします。

amay077 commented 2 years ago

@takainou

名古屋市HPで公表されていた新規陽性者一覧が2022/1/18公表分より一覧からサマリ形式に変更となり

これは一時的ではなく（どちらかといえば）恒久的な対応と考えますか？私は確認中となっている行は、数日の内に "確認" が行われ消えていくものかと思っておりました、根拠はありません。

一時的であれば新規陽性者一覧の反映は数日遅れる程度で良いと思いますが、恒久的(少なくとも数週〜数ヶ月〜それ以上)であれば

『「年代・性別列が確認中である」行は「住居地」＝"名古屋市"として取り込む』

を行う必要がありますね。とはいえ、ここ数日の PDF の様子を見ていると、どうやら恒久的な感じはしますね。

takainou commented 2 years ago

再オープン、および、検討ありがとうございます。

これは一時的ではなく（どちらかといえば）恒久的な対応と考えますか？

「名古屋市の公表が一覧からサマリ形式となった」のは、恒久的な対応と考えております。当初からは何度かフォーマット変更され情報量が減って来ましたが、元に戻った事は無いですね。名古屋市の公表時刻も深夜から夕刻に早まっております(県管轄分の公表時刻は深夜です)。

「名古屋市から愛知県に新規陽性者一覧が届いていない」のは、当日夜のうちに届けるのが厳しくても翌日昼間に届けられれば1日遅れで反映されるのかなと見ておりましたが、今のところ1/18公表分も反映されてません。まだ陽性者数は増えそうとなると、当面(数週間)は厳しいのかもと感じております。

まだ陽性者数は増えそうとなると、「公表時刻が深夜の県管轄分が名古屋市同様のサマリ形式となり、県全体の発生事例一覧もサマリ形式となり」本対応の有効期間が短くなり別の対応が必要となる事も予想されますね…。

amay077 commented 2 years ago

分かりました、対応します。陽性者が爆発的に増えるに伴い詳細データは追い切れなくなるだろうので仕方ないですね。サマリ形式のみになってしまったら、このサイトの大部分のチャートは継続が難しくなるので、サイト自体の在り方を（サイトを閉じるかも含めて）検討する必要がありますね。

takainou commented 2 years ago

素早い対応ありがとうございます。Deploy Preview確認しました。問題無いと思います。

陽性者が爆発的に増えるに伴い詳細データは追い切れなくなるだろうので仕方ないですね。

保健所は陽性者一覧に基づいて業務遂行するので一覧自体は存在しており、人口あたりの陽性者数は欧米諸国に比べれば少なく、やり方次第だとは思います。ただ、何より重要なのは「治療が必要な人に適切な医療を提供する事」ですので、「一覧を整形し個人情報掲載していないか確認して公表する」業務の優先度が低いのは仕方ないですね。

サマリ形式のみになってしまったら、このサイトの大部分のチャートは継続が難しくなるので、サイト自体の在り方を（サイトを閉じるかも含めて）検討する必要がありますね。

そうですね。愛知県HPで「感染者一覧」が公開されなくなったことによる対応 #841 の際に、一覧が復活しても安心せず、提案頂いていた一覧が無い場合の対応を継続検討しておけば良かったなと振り返っております。

takainou commented 2 years ago

まだ陽性者数は増えそうとなると、「公表時刻が深夜の県管轄分が名古屋市同様のサマリ形式となり、県全体の発生事例一覧もサマリ形式となり」本対応の有効期間が短くなり別の対応が必要となる事も予想されますね…。

県管轄2022/1/25公表から「県管轄分が名古屋市同様のサマリ形式となり」ました。

明朝には「県全体の発生事例一覧もサマリ形式となり」、以下の時期となってしまうかもしれません。

サマリ形式のみになってしまったら、このサイトの大部分のチャートは継続が難しくなるので、サイト自体の在り方を（サイトを閉じるかも含めて）検討する必要がありますね。

追加修正対応して頂いたばかりで、大変申し訳ありません。

(2022/1/26追記 1/26朝の県全体の発生事例は一覧のままでした。公表ファイルの範囲や過去一覧取り扱いなど、サマリ形式に変えるとしても変更業務の負荷がありますね。)

takainou commented 2 years ago

「県管轄分が名古屋市同様のサマリ形式となり」1ヶ月経過しましたが、県全体の発生事例一覧はサマリ形式とはならず一覧のまま継続されており、「新規感染者数」「陽性率」はきちんと表示されています。

ただ、県全体の発生事例一覧PDF(2月)にて、名古屋市データの表記方法が"（確認中）"から"ー"に変更されました。発生事例一覧PDF(1月まで)は"（確認中）"のままで 1月まで：「住居地」＝"名古屋市" 2月：「住居地」＝"NOT_FOUND" となり、「市町村別感染状況」にて、2/1以降の名古屋市は0人となっています。