search

djay / covidthailand

Thailand Covid testing and case data gathered and combined from various sources for others to download or view
126 stars 15 forks source link

no data source for vaccinations details #21

Closed djay closed 3 years ago

djay commented 3 years ago

the following is no longer in the report

All we have now is total + % for each shot of top 10 provinces vaccinated.

Options

djay commented 3 years ago

Looks like I can continue the vaccination groups data if text similar to the following appears in each report going forward

"จำกกำรติดตำมผลกำรให้บริกำรวัคซีนโควิด 19 ในระบบฐำนข้อมูล MOPH Immunization Center พบว่ำ ผู้ที่ได้รับวัคซีนสะสม ตั้งแต่วันที่ 28 กุมภำพันธ์ – 28 พฤษภำคม 2564 ทั้งหมด 3,504,125 โดส ใน 77 จังหวัดทั่วประเทศ ผู้ได้รับวัคซีนเข็มที่ 1 จำนวน 2,415,903 รำย เป็นบุคลำกรทำงกำรแพทย์ 814,623 รำย เจ้ำหน้ำที่ที่มีโอกำสสัมผัสผู้ป่วย 406,539 รำย ผู้ที่มีอำยุตั้งแต่ 60 ปีขึ้นไป 76,702 รำย บุคคลที่มีโรคประจำตัว 165,278 รำย ประชำชน ในพื้นที่เสี่ยง 952,761 รำย และจำนวนผู้ได้รับวัคซีนครบตำมเกณฑ์ (ได้รับวัคซีน 2 เข็ม) จำนวน 1,088,222 รำย เป็นบุคลำกรทำงกำรแพทย์ 596,228 รำย เจ้ำหน้ำที่ที่มีโอกำสสัมผัสผู้ป่วย 130,698 รำย ผู้ที่มีอำยุตั้งแต่ 60 ปี ขึ้นไป 2,881 รำย บุคคลที่มีโรคประจำตัว 55,569 รำย และประชำชนในพื้นที่เสี่ยง 302,846 รำย ดังรูป"

djay commented 3 years ago

Looks like top 10 province vaccinations is in 28th but not 29th so might not be consistent going forward.

จังหวัดที่มีร้อยละควำมครอบคลุมกำรให้บริกำรวัคซีนโควิด 19 สูงสุด เทียบกับประชำกรรำยจังหวัด ตำมทะเบียนรำษฎร์และประชำกรแฝง 10 อันดับแรก ได้แก่ ภูเก็ต (เข็มที่ 1 ร้อยละ 43.75 และเข็มที่ 2 ร้อยละ 17.36) สมุทรสำคร (เข็มที่ 1 ร้อยละ 13.30 และเข็มที่ 2 ร้อยละ 10.25) ระนอง (เข็มที่ 1 ร้อยละ 8.37 และเข็มที่ 2 ร้อยละ 4.70) ตำก (เข็มที่ 1 ร้อยละ 8.31 และเข็มที่ 2 ร้อยละ 7.28) กรุงเทพมหำนคร (เข็มที่ 1 ร้อยละ 7.94 และเข็มที่ 2 ร้อยละ 2.55) นนทบุรี (เข็มที่ 1 ร้อยละ 6.01 และเข็มที่ 2 ร้อยละ 1.91) บุรีรัมย์ (เข็มที่ 1 ร้อยละ 5.48 และเข็มที่ 2 ร้อยละ 0.74) พังงำ (เข็มที่ 1 ร้อยละ 4.91 และเข็มที่ 2 ร้อยละ 2.52) ชลบุรี (เข็มที่ 1 ร้อยละ 4.42 และเข็มที่ 2 ร้อยละ 1.45) และ สุรำษฎร์ธำนี (เข็มที่ 1 ร้อยละ 4.36 และเข็มที่ 2 ร้อยละ 2.82) โดยมี ควำมครอบคลุมกำรให้บริกำรวัคซีนโควิด 19 ภำพรวมทั้งประเทศ เข็มที่ 1 ร้อยละ 2.84 และเข็มที่ 2 ร้อยละ 1.36

chrisadas commented 3 years ago

It's really a shame that per-province data was discontinued.

They could just publish raw numbers and save themselves the trouble of manually updating the charts each day. So many people willing to help, but no.

djay commented 3 years ago

They have no not uploaded any report in 2 days - https://ddc.moph.go.th/dcd/pagecontent.php?page=643&dept=dcd Might need to find another source completely. Good chance there will be something regulary in the daily briefing that gives at least some more details

djay commented 3 years ago

You can also guess the name of the new reports

chrisadas commented 3 years ago

For what it's worth, this show the target number per group:

https://www.facebook.com/informationcovid19/photos/a.106455480972785/342985323986465/

Still can't find the target per province anywhere.

djay commented 3 years ago

Ah that's cool. Then I can show % complete for each group. Per province doesn't matter because we no longer have updates for that.

djay commented 3 years ago

@porames I see you found another source for per province vaccinations? https://datastudio.google.com/u/0/reporting/731713b6-a3c4-4766-ab9d-a6502a4e7dd6/page/JMn3B

porames commented 3 years ago

@porames I see you found another source for per province vaccinations? https://datastudio.google.com/u/0/reporting/731713b6-a3c4-4766-ab9d-a6502a4e7dd6/page/JMn3B

Yes. However, this source is updated sporadically and some vaccine counts are off by a bit, but I think it is the most completed and detailed dataset we currently have.

porames commented 3 years ago

@djay This is the request for getting the latest vaccination count for each province. https://github.com/porames/the-researcher-covid-bot/blob/c661daa787d17392b729b90fd16be9c1347e4398/bot_jobs/vaccination/fetch-MOPH-dashboard.js#L648

*Update: they changed the format so this request has to be fixed later.

djay commented 3 years ago

@porames thanks for that. I wasn't able to get that query to work. I can't see it used in your code? I was able to get some other queries working to get the timeseries. It would be nice however to get the _persontype breakdown per province like I had before, but haven't work that out yet, or at least the person_type timeseries.

djay commented 3 years ago

@porames from playing with it seems you can perhaps vary filters on a query but I haven't found out a way to get a different sort of count other than what has already be preset. Like getting counts per day per person_type. or dose1 dose2 per day per province.

porames commented 3 years ago

@djay If you go to "serial" section you will find information of every vaccination record (there are 3 million of them). You can find the query to pull that table and maybe process it from there. But this section was updated at 6th June.

image
djay commented 3 years ago

@porames yeah 3M/6 June is concern given the other vaccination views are up to 14th June. So might not be their base data so might be left no updated. If I could just get 1 vs 2nd dose given per province I can put back my existing graphs :( Knowing total per province per day is less useful.

djay commented 3 years ago

@porames @pmdscully I've now put in the coldchain data for vaccines given per province. Just can't show dose 1 vs dose 2. These numbers don't match exactly unofficial numbers however There is also downloadable data for delivered vaccine and I will add in imported vaccine also. No breakdown of priority groups per province over time.

djay commented 3 years ago

oh and the reports are getting delayed :(

djay commented 3 years ago

wow 2021-07-02 report had the per prov dose 1 and dose 2 table in it. if it continues I might modify the old code to parse it.

pmdscully commented 3 years ago

wow 2021-07-02 report had the per prov dose 1 and dose 2 table in it. if it continues I might modify the old code to parse it.

Code to parse using Camelot, then clean and verify (sums and unique province names):

djay commented 3 years ago

Thanks. I’ll add it to the list to do, or if you want to create a PR that would be great. Given there is a massive gap in teh data it’s probably not that much use for my graphs since they are all trends over time so not in a hurry to add it. and they can always take it away again.

pmdscully commented 3 years ago

Okay. PR request point noted.

Hmm... I tested that Colab code on 4/7, 3/7 and 2/7. It falls over on 4/7, due to Camelot table parsing problem (8 columns vs 9 columns). It's probably best to re-write it using Tika magic, but some of the parsing procedure logic might be reusable. (Future work!)

djay commented 3 years ago

Everytime I try to use camelot I find it inconsistent. and if I can’t rely on it always getting the same tableeverytime then I might as well have used text scraping instead which is what ends up happening. The only times I’ve ended up with camelot still in the code is historical formats that aren’t used anymore. I suspect my existing code for the old tables won’t be hard to change to make it work for this new table since its so similar.

porames commented 3 years ago

@djay now it looks like scraped vaccination data isn't updated, only vac delivery data is available.

djay commented 3 years ago

@porames Good catch. Thanks. It should be fixed now. I'll also close this issue and create a new one for any new vac sources

djay commented 3 years ago

@porames looks like the vac tracker is now completely locked up. So no source for vaccination imports. And a big gap in my vaccination timeline if I lose my cache :(

porames commented 3 years ago

@djay hope our tracking project won't be ordered close with the new information act haha

djay commented 3 years ago

@porames not a very helpful law that I think won't achieve what its stated intentions are. Think I should request access?