Парсер может работать на сервере?

sparsimsite commented 1 year ago

Здравствуйте. Спасибо за вашу работу. Можно ли загрузить парсер для работы на сервере?

interlark commented 1 year ago

Приветствую. Да, почему бы и нет, тесты же гоняются на headless серверах.

Тут есть 2 подхода: 1) Запускать браузер в обычном режиме, но в с виртуальным "дисплеем" через Xvfb.

sudo apt-get install xvfb
Xvfb -ac :99 -screen 0 1280x1024x16 &
export DISPLAY=:99

pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000

2) Запускать парсер с headless флагом.

pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000 --chrome.headless yes

Тут стоит заметить, что второй подход менее надёжный, т.к. Chrome запущенный в headless режиме в теории можно отследить со стороны 2GIS.

sparsimsite commented 1 year ago

Большое спасибо за совет по запуску парсера. По возможности постараюсь отблагодарить вас за труд)

sparsimsite commented 1 year ago

Первый способ отлично работает

interlark commented 1 year ago

Также серверу желательно находиться в РФ, т.к. при работе из других мест может прилететь каптча после нескольких запросов.

DuckDrkx commented 2 weeks ago

Привет, а можно ли как то получить фото заведений ?

interlark / parser-2gis

Парсер может работать на сервере? #17