kadekjayak / bca-parser

Simple class to Scrap data on Klik BCA
79 stars 45 forks source link

DOMDocument::loadHTML(): Argument #1 ($source) must not be empty #17

Open luqmansolihin opened 1 year ago

luqmansolihin commented 1 year ago
{
    "class": "ValueError",
    "message": "DOMDocument::loadHTML(): Argument #1 ($source) must not be empty",
    "code": 0,
    "file": "/var/www/api_ecommerce/vendor/kadekjayak/bca-parser/src/BCAParser.php:295",
    "trace": [
        "/var/www/api_ecommerce/vendor/kadekjayak/bca-parser/src/BCAParser.php:295",
        "/var/www/api_ecommerce/vendor/kadekjayak/bca-parser/src/BCAParser.php:278",
        "/var/www/api_ecommerce/vendor/kadekjayak/bca-parser/src/BCAParser.php:362",
        "/var/www/api_ecommerce/vendor/kadekjayak/bca-parser/src/BCAParser.php:378",
        "/var/www/api_ecommerce/app/Services/BankMutationService.php:16",
        "/var/www/api_ecommerce/app/Services/BankMutationService.php:25",
        "/var/www/api_ecommerce/app/Console/Commands/BankMutationCron.php:46",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Container/BoundMethod.php:36",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Container/Util.php:40",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Container/BoundMethod.php:93",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Container/BoundMethod.php:37",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Container/Container.php:653",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Console/Command.php:136",
        "/var/www/api_ecommerce/vendor/symfony/console/Command/Command.php:298",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Console/Command.php:121",
        "/var/www/api_ecommerce/vendor/symfony/console/Application.php:1024",
        "/var/www/api_ecommerce/vendor/symfony/console/Application.php:299",
        "/var/www/api_ecommerce/vendor/symfony/console/Application.php:171",
        "/var/www/api_ecommerce/vendor/laravel/framework/src/Illuminate/Console/Application.php:94"
    ]
}

Ini error kenapa ya?

sawirricardo commented 1 year ago

error parsing table kelihatannya

kadekjayak commented 1 year ago

kemungkinan error parsing table nya karena CURL nya gagal. bisa jadi karena sedang maintenance, password berubah, ato ada network error...

saya tidak bisa me-reproduce ini, karena di saya masih normal...

soikon commented 1 year ago

Kelihatannya belakangan ini BCA lagi rolling update untuk nambah Javascript challenge. image

Saya tes untuk remove javascript challenge dari payload maka akan diredirect ke login / auth page lagi.

luqmansolihin commented 1 year ago

Apakah punya kawan-kawan masih lancar? Di saya sekarang selalu muncul error seperti itu saat melakukan cek mutasi. Saya tes di local sama di server errornya sama semua.

soikon commented 1 year ago

Untuk saat ini kelihatannya mulai dirollout secara perlahan ya, karena saya tes tadi malam masih bisa, errornya baru muncul belakangan ini. Sepertinya sudah harus pindah ke selenium/puppeteer.

Atau dari sepuh ada yang punya solusi?

dandice9 commented 1 year ago

iya, baru pagi ini ada update jadi seperti ibank.klikbca.com ada javascript challenge nya

raf-lii commented 1 year ago

satu satunya solusi buat masalah ini pakai selenium kah ngk ada yang lain mas?

sawirricardo commented 1 year ago

mungkin pakai officialnya api bca https://developer.bca.co.id/?

soikon commented 1 year ago

mungkin pakai officialnya api bca https://developer.bca.co.id/?

Sebenernya ini benar, sayangnya API BCA mahal untuk hit per APInya hahaha

sawirricardo commented 1 year ago

gratis atau berbayar? kayaknya belum ada page yang menyatakan itu berbayar?

soikon commented 1 year ago

gratis atau berbayar? kayaknya belum ada page yang menyatakan itu berbayar?

Sebaliknya, tidak ada yang bilang itu gratis. PKSnya memang bersifat rahasia jadi tidak ada yang berani publikasi.

dandice9 commented 1 year ago

mungkin pakai officialnya api bca https://developer.bca.co.id/?

Sebenernya ini benar, sayangnya API BCA mahal untuk hit per APInya hahaha

iya mahal dan masih b2b kayanya, developer perorangan ga bisa dapet

ace3 commented 1 year ago

saya bisa confirm berbayar, karena saya ada pakai API ini.

aherlambang commented 1 year ago

sudah ada yang nemu solusi penggantinya untuk javascript ini ?

luqmansolihin commented 1 year ago

Sepertinya untuk problem ini belum ada solusinya ya?

ace3 commented 1 year ago

akhirnya saya pake puppeteer nodejs untuk ambil data nya.

kadekjayak commented 1 year ago

spertinya sudah saat nya ganti metode scraping ...

makanSukros commented 1 year ago

akhirnya saya pake puppeteer nodejs untuk ambil data nya.

bisa pake puppeteer cuma resourcenya terlalu besar, mungkin suhu di sini ada solusi lain?

luqmansolihin commented 1 year ago

Untuk issue ini apakah sudah solved atau belum ya?

gentangnahla commented 1 year ago

akhirnya saya pake puppeteer nodejs untuk ambil data nya.

saya pake nodeJS dan puppeteer kok hasilnya sama saja dengan pake selenium chromedriver, saat cek saldo maupun mutasi langsung dilempar ke frame_break.jsp, isinya "temporary out of service, please try later".

apa ada yg perlu disesuaikan untuk pendeteksi karena menggunakan webdriver @ace3 ?

ace3 commented 1 year ago

untuk skrg, puppeteer nya, sepertinya perlu ada tweaking, baru bisa berjalan kembali.

horasjey commented 1 year ago

info scrip yang masih bisa di gunakan donk kak

pancaz commented 1 year ago

saya bisa confirm berbayar, karena saya ada pakai API ini.

agan sdh pakai API kok pakai scrapper jg ? btw bisa info detail rincian biaya utk menggunakan api bca resmi nya? jika bisa sekalian sy butuh worker utk integrasikan api tersebut ? tks

ace3 commented 1 year ago

saya bisa confirm berbayar, karena saya ada pakai API ini.

agan sdh pakai API kok pakai scrapper jg ? btw bisa info detail rincian biaya utk menggunakan api bca resmi nya? jika bisa sekalian sy butuh worker utk integrasikan api tersebut ? tks

untuk beda kebutuhan. buat pribadi & share ke teman, pakai yang scrapper, tetapi untuk yang kantor/kerjaan, menggunakan yang bca resmi.

horasjey commented 1 year ago

bagi dong @ace3 yang work buat pribadi ajah ^_^