Design service for web scraping

woodencoder commented 3 years ago

Надо бы задуматься, как должен выглядеть скрейпер данных для вакансий – как, где и что он будет собирать

woodencoder commented 3 years ago

У HeadHunter, кстати, есть API Возможно, получится заюзать его https://github.com/hhru/api/blob/master/docs/vacancies.md#search

arcbjorn commented 3 years ago

Нынешнее решение для скраппинга выглядит неплохо, но предлагаю использовать https://github.com/gocolly/colly по причинам:

Убрать ботлнек по скорости обработки в будущем
Унифицировать стек, переиспользовать gorm методы и структуры данных
Реализовать поточное сохранение данных для уменьшения использования RAM сервака (на го чуть удобнее чем на питоне)

woodencoder / startern