create a scrapper program that will scrapp jobs ( V1)

[tsafacjo]

create a scrapper program that will scrapp jobs :

• generate a monthly trend on specific field (which could be publish on linkedIn)
• automatically suggest resume improvement base on hiring trends
• generate annual report

[tsafacjo]

The first version will be done soon.

• [ Transform to POO code]

• [ The current version only work for US ,Need create a version for France and Germany]

I will schedule it with kubernetes

[tsafacjo]

so much troubles to build docke image with on arm64 .

I will deploy try to deploy on AWS or github action

[tsafacjo]

Good t know you can run indepent webdriver ta simulation browner ::

https://github.com/seleniumhq/docker-selenium/#quick-start

[tsafacjo]

to deploy on github action https://github.com/MarketingPipeline/Python-Selenium-Action/blob/main/.github/workflows/Selenium-Action_Template.yaml

[tsafacjo]

https://medium.com/analytics-vidhya/deploy-a-selenium-based-crawler-to-docker-fd26f53f52e7

[billmetangmo]

• https://www.abg.asso.fr/fr/candidatOffres
• http://w3.erss.univ-tlse2.fr/membre/tanguy/offres.html#Stages
• https://afia.asso.fr/les-offres-demploi/
• https://www.societe-informatique-de-france.fr/ ( newsletters)
• https://github.com/mongulu-cm/manzi-mfa/blob/main/interviews/resources.txt
• Site do'ffre d'emploi des écoles/université
• Sites spécifiques des entreprises dans lequel les membres du collectif sont ( pour parrainage)

https://www.loom.com/share/08c81e68cd614ec8ab3a5138531dff03

[namendjo]

@billmetangmo statut ?

[billmetangmo]

Changement sur la feature proposée: Scraper non pas tous les jobs sur le web mais les offres d'emploi d'entreprises dans laquelle nous sommes ( ou avons été) afin de permettre de proposer des offres de stages/premier emploi par cooptation aux mentorés ( cela permet aussi cela entre les membres du collectif - peut aussi être un argument supplémentaire pour rejoindre le collectif).

[billmetangmo]

V1:

• que scrape t-on ? Toutes les offres de stages et d'emploi tech de l'emploi actuel des membres du collectif ( liste des membres https://github.com/mongulu-cm/contacts )
• qu'en fait-on ? Stockage par typologie ( stage/offre d'emploi) et métier ( DevOps, Data science, Data engineering, Developer, Sécurité, Réseaux , accès facile et notification en cas de nouveaux jobs pour nous.

[billmetangmo]

https://scrapfly.io/

[billmetangmo]

Scraper en utilisant les screenshots est plus cost efficient en plus d'êtr egénéraliste: https://news.ycombinator.com/user?id=its_down_again

Browser Ai automation (screen scraping)

• https://github.com/ComposioHQ/composio/tree/master/python/composio/tools/local/browsertool/actions
• https://www.multion.ai/api/pricing
• https://github.com/Skyvern-AI/skyvern
• https://github.com/theredsix/cerebellum
• https://github.com/EmergenceAI/Agent-E
• https://github.com/gregpr07/browser-use
• https://www.reworkd.ai/ ( opensource https://github.com/reworkd/tarsier )
• https://github.com/microsoft/OmniParser
• https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo