interlark / parser-2gis

Парсер сайта 2GIS для сбора адресов и контактов предприятий России и стран СНГ
GNU Lesser General Public License v3.0
196 stars 35 forks source link

Парсер может собират информацию по адресу? #18

Closed WormMad closed 1 year ago

WormMad commented 1 year ago

Парсер может собират информацию по адресу, по всем рубрикам и по всем компаниям на адресе, или по координатам? Так-же может имеет смысл внедрить возможность выгрузки по всем рубрикам?

interlark commented 1 year ago

По адресу парсить может - это ссылки "Организации внутри здания", подробнее тут или тут. Спарсит все организации по адресу независимо от их рубрик.

По координатам вряд ли буду писать поддержку, тут нужно по координатам вытаскивать организации или здания, а потом их парсить, пока не встречал в этом необходимость.

Выгрузку по всем рубрикам не понял, это спарсить весь 2GIS что ли? Этим лучше не заниматься. Рубрики добавлены для уточнения запроса.

WormMad commented 1 year ago

Что-то я делаю не так в поле URL: https://2gis.ru/moscow/inside/4504235282693052 в здании 221 организация а выгрузка дает только 12 организаций Но в варианте со снятым скрытым режимом выгружает все.

interlark commented 1 year ago

Да вряд ли, тут всё просто: вставил ссылку и нажал пуск. Браузер лучше не скрывать, т.к. в теории 2GIS сможет это отследить и принять за бот-активность.

4504235282693052.csv

https://user-images.githubusercontent.com/20641837/209665712-068a5e9a-17e6-4445-8793-73f0610045ab.mp4