search

cnumr / ecoindex_python_fullstack

Refactoring of ecoindex in one monorepo using polylith pattern
Other
17 stars 4 forks source link

[Bug]: Problème de performance. mémoire pleine et ralentissement #109

Open simonvdfr opened 1 week ago

simonvdfr commented 1 week ago

What happened?

Au-delà de 100 URL, le script commence à prendre toute la mémoire (11 Go chez moi), comme ça a été le cas dans le passé si tu te rappelles @vvatelot

Mon PC devient inutilisable durant les mesures avec alias ecoindex-cli="sudo docker run -it --rm --add-host=host.docker.internal:host-gateway -v /tmp/ecoindex-cli:/tmp/ecoindex-cli vvatelot/ecoindex-cli:latest ecoindex-cli"

Sur l'ancienne version du dépôt la version CLI ça marchait avec la playwright-chromium que tu m'avais proposée d'utiliser. alias ecoindex-cli="sudo docker run -it --rm -v /tmp/ecoindex-cli:/tmp/ecoindex-cli vvatelot/ecoindex-cli:playwright-chromium ecoindex-cli"

Project

Ecoindex CLI

What OS do you use?

Linux

urls

No response

Relevant log output

No response

Code of Conduct

vvatelot commented 1 week ago

Bonjour @simonvdfr, est ce que tu pourrais tester en limitant le nombre de threads: https://github.com/cnumr/ecoindex_python_fullstack/blob/main/projects/ecoindex_cli/README.md#using-multi-threading ?

simonvdfr commented 6 days ago

Meme problème, que je mette 2 ou 1 (au lieu des 4 automatique), la mémoire se retrouve pleine au bout de 100 url (sur les 200)... en plus pas de possibilité de quitter le process. J'ai essayé de faire des Ctrl+C dans le terminal et ça libère de la mémoire, mais je ne sais pas ce que ça coupe...