Tilføjelse af løskoblet webscraping service

[st-randers]

Byg en løskoblet selvstændig webscraping komponent der kan opereres via remote kald og returnere scrapet data i et åbent standard format.

Teknologi forsøg med puppeteer og https://hub.docker.com/r/browserless/chrome#puppeteer som selvstændig løskoblet service.

Research links-->

1) Puppeteer https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md#running-on-alpine https://github.com/puppeteer/puppeteer/pkgs/container/puppeteer https://pptr.dev/guides/docker (Puppeteer + Chromium incl. dependencies)

2) Chrome + Dependecies https://hub.docker.com/r/browserless/chrome https://github.com/Zenika/alpine-chrome

3) Node-red

Andre referencer: https://www.howtogeek.com/devops/how-to-run-puppeteer-and-headless-chrome-in-a-docker-container/

[ghost]

Forsøg med test af https://hub.docker.com/r/browserless/chrome#puppeteer som service.

Tilgåes som js metode med const browser = await puppeteer.connect({ browserWSEndpoint: 'ws://servicenavn:3000' }); hvor servicenavn er det det definerede servicenavn fra docker-compose filen.

Ny compose laves.. @jmk-randers

[ghost]

@st-randers : Lad os tale om hvilke af disse settings der kan være relevante for dit scraping flow: https://www.browserless.io/docs/docker

[ghost]

@st-randers: Test med const browser = await puppeteer.connect({ browserWSEndpoint: 'ws://browserless:3000' });