search

SIWECOS / siwecos-crawler

Website crawler written in PHP.
Other
1 stars 0 forks source link

Add async worker queue #1

Closed y-ates closed 5 years ago

y-ates commented 5 years ago

Add a worker queue, so that several tasks can be requested faster

Lednerb commented 5 years ago

Ist dies bereits im develop-Branch integriert?

(ich habe laravel in develop gemerged)

Lednerb commented 5 years ago

Ist nicht implementiert. Bitte dringend nachrüsten.

Ein Post-Request mit url und callbackurls dauert ca. 5 Sekunden beim Crawl der siwecos.de Seite und liefert OK erst, sobald das Crawling abgeschlossen ist.

y-ates commented 5 years ago

Ist dies bereits im develop-Branch integriert?

Ja.

Ein Post-Request mit url und callbackurls dauert ca. 5 Sekunden beim Crawl der siwecos.de Seite und liefert OK erst, sobald das Crawling abgeschlossen ist.

Wie wurde dies getestet? Die async worker queue ist integriert und funktioniert bei laufender queue wie vorgesehen ("OK" wird sofort zurückgegeben).

Siehe dispatch

y-ates commented 5 years ago

Meine derzeitige Theorie zur Ursache ist die .env.example. Bei mir läuft es mit folgender .env:

APP_NAME=CRAWLER
APP_ENV=local
APP_KEY=base64:C7tfp2hZguzeCJ2JLdiR5+Xj5fn1Ws3ChLeRnUJcIqE=
APP_DEBUG=true
APP_URL=http://localhost

LOG_CHANNEL=stack

BROADCAST_DRIVER=log
CACHE_DRIVER=redis
SESSION_DRIVER=redis
QUEUE_CONNECTION=redis

Stammt die .env.example von dir?

EDIT: Ich habe meine .env.example hochgeladen

Lednerb commented 5 years ago

Lag an der .env.example. Fixed in d978b05