search

politik-bei-uns / politik-bei-uns-scraper-old

Offenes Ratsinformationssystem: Scraper
14 stars 5 forks source link

Verbesserung der Queue #8

Open the-infinity opened 8 years ago

the-infinity commented 8 years ago

Zur Zeit kann lediglich eine Stadt nach der anderen abgearbeitet werden. Dies dauert sehr, sehr lange. Da fast jede Stadt einen anderen Server hat, können Scrapingvorgänge auch parallel ausgeführt werden, solange sie nicht auf denselben Server gehen.