search

pyk / rojak

Project Rojak, Yuk gabung diskusi di Slack nya Rojak: http://team.rojak.id/
Other
98 stars 46 forks source link

[rojak-pantau] Feature/rojak pantau/liputan6 #111

Closed girikuncoro closed 7 years ago

girikuncoro commented 7 years ago

Merge part of #39 for liputan6

ini tiap page cuma bisa ngambil 60 urls terakhir (60 urls dibagi 5 page infinite scroll-ish), yang sebelum2nya ga berhasil keambil (format API nya ga paham), kalo ada yang berhasil ngoprek kasih tau ya

pyk commented 7 years ago

@girikuncoro ternyata kalau liputan 6 lebih gampang versi webnya sih, ada pagination http://www.liputan6.com/tag/pilkada-dki-jakarta-2017?page=7

Tinggal pake custom user-agent seperti spider kompas

girikuncoro commented 7 years ago

oke ntar ya

girikuncoro commented 7 years ago

@pyk hmm abis dari page 15 ga bisa next lagi ini gimana enaknya ya? coba deh http://www.liputan6.com/tag/pilkada-dki-jakarta-2017?page=15

kalo klik page 16, 17, dst tetep page yang di load page 15

pyk commented 7 years ago

@girikuncoro keknya itu udah maksimal nya mas. contohnya http://www.liputan6.com/tag/pilkada-serentak-2017?page=10 (padahal dia maksnya cuma 9 halaman, tapi tetep muncul di pagination nya)

pyk commented 7 years ago

btw ini aku merge dulu ya 🙇