search

wildangunawan / Dataset-Saham-IDX

List emiten dan pergerakan harga saham tiap harinya di bursa saham Indonesia
Other
47 stars 24 forks source link

Data Berhenti Ter-update Per 23 Maret 2021 #3

Closed wildangunawan closed 3 years ago

wildangunawan commented 3 years ago

Halo,

Ada masalah dengan scrapper yang menyebabkan data tidak dapat diambil lagi. Permasalahannya adalah website BEI sudah memakai proxy dari Cloudflare. Hal ini menyebabkan bot belum bisa masuk untuk men-scrap data.

Sekarang saya sedang mencoba untuk mem-bypass ini dengan menggunakan library Python bernama cfscraper.

Semoga masalah ini dapat cepat tertangani.

wildangunawan commented 3 years ago

Scrapper telah diupdate beberapa saat yang lalu. Sementara ini scraper sedang men-scrap data dari tanggal 24 Maret 2021 s.d. 26 Maret 2021. Seharusnya akan selesai dalam 3-4 jam ke depan.

Kondisi akan terus diupdate sampai benar-benar stabil.

wildangunawan commented 3 years ago

Dataset sudah terupdate per 27 Maret 2021 pada commit 5b3fbfbfe6430ff63bc84338b6ca4f04efe043ef. Saya akan coba melihat sampai 3 hari kerja kedepan apakah dataset terus terupdate secara otomatis dan scraper bekerja dengan baik atau tidak.

wildangunawan commented 3 years ago

Masalah terselesaikan.