Duff89 / parser_avito

Находит товары на avito.ru по ключевым словам
139 stars 47 forks source link

Реализация User-agent #8

Closed IPRepin closed 1 year ago

IPRepin commented 1 year ago

Реализовать случайные User-agent можно при помощи библиотеки random-user-agent: pip install random-user-agent

from random_user_agent.params import OperatingSystem, SoftwareName
from random_user_agent.user_agent import UserAgent

...

 def __set_up(self):

        '''
        Устанавливаем user-agent
        '''

        software_names = [SoftwareName.CHROME.value]
        operating_systems = [OperatingSystem.WINDOWS.value, OperatingSystem.LINUX.value]

        user_agent_rotator = UserAgent(software_names=software_names, operating_systems=operating_systems, limit=100)
        user_agent = user_agent_rotator.get_random_user_agent()
        options = Options()
        options.add_argument('--headless')
        options.add_argument(f'--user-agent={user_agent}')
        self.driver = uc.Chrome(version_main=self.__get_chrome_version,
                                options=options,
                                )

...

Duff89 commented 1 year ago

В чем преимущество данной реализации?

IPRepin commented 1 year ago

Всегда новый user-agent, не нужен список в отдельном файле.

Duff89 commented 1 year ago

1) Я не видел, чтобы Авито банил из-за ua, т.е по сути это просто реализовано на всякий случай 2) 2 строки кода в моём случае против 4 в Вашем 3) Дополнительная зависимость