Concurrency in requests

AWSWebcrawler / General

1 stars 0 forks source link

Concurrency in requests #161

Open philippvarga-thi opened 2 years ago

philippvarga-thi commented 2 years ago

Als Data Engineer möchte ich einen Aufrufpool (Concurrency / Asynchron) der requests.

Dadurch ist (hoffentlich) gewährleistet, dass es in Summe schneller durchläuft und weniger auf die Requests warten muss.

Hinweis: ist lediglich für das Projekt Request durchführen nötig

DoD:

[x] Gleichzeitiges herunterladen der Requests

alh5598 commented 2 years ago

Das Threading wurde implementiert und die Durchlaufzeit wurde extrem reduziert. Allerdings wurden wir durch das viele Testen nach kurzer Zeit geblockt.