13adams37 / phpErrorCrawler

0 stars 0 forks source link

Добавить очистку существующей папки при загрузке скриншотов #5

Closed 13adams37 closed 2 months ago

13adams37 commented 3 months ago

Остаются файлы с предыдущего прогона

13adams37 commented 3 months ago

Traceback (most recent call last): File "D:\Тимофей\workdirs!projects\phpErrorCrawler\main.py", line 46, in main(get_allowed_domain(args.url), [args.url]) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\main.py", line 35, in main after_crawler.run(BitrixCrawler.urls_with_errors) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\after_crawler.py", line 16, in run errors_with_screenshots = self.get_errors_with_screenshots( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\after_crawler.py", line 33, in get_errors_with_screenshots disk.upload_photos_sync(screenshot["screenshot"]) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\uploader.py", line 39, in upload_photos_sync self.__client.upload(photo_path, f"app:/{photo_path.split("projects/")[1]}", overwrite=True) File "C:\Python312\Lib\site-packages\yadisk\client.py", line 907, in upload self._upload(self.get_upload_link, file_or_path, dst_path, **kwargs) File "C:\Python312\Lib\site-packages\yadisk\client.py", line 828, in _upload file = self.open_file(file_or_path, "rb") ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ FileNotFoundError: [Errno 2] No such file or directory: 'projects/angara.citrus-test.ru/21.png'

13adams37 commented 2 months ago

Завершён экстренно паук, ошибка - Traceback (most recent call last): File "D:\Тимофей\workdirs!projects\phpErrorCrawler\main.py", line 46, in main(get_allowed_domain(args.url), [args.url]) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\main.py", line 35, in main after_crawler.run(BitrixCrawler.urls_with_errors) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\after_crawler.py", line 16, in run errors_with_screenshots = self.get_errors_with_screenshots( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\after_crawler.py", line 33, in get_errors_with_screenshots disk.upload_photos_sync(screenshot["screenshot"]) File "D:\Тимофей\workdirs!projects\phpErrorCrawler\src\uploader.py", line 39, in upload_photos_sync self.__client.upload(photo_path, f"app:/{photo_path.split("projects/")[1]}", overwrite=True) File "C:\Python312\Lib\site-packages\yadisk\client.py", line 907, in upload self._upload(self.get_upload_link, file_or_path, dst_path, **kwargs) File "C:\Python312\Lib\site-packages\yadisk\client.py", line 828, in _upload file = self.open_file(file_or_path, "rb") ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ FileNotFoundError: [Errno 2] No such file or directory: 'projects/bookskazan.ru/1.png'

13adams37 commented 2 months ago

Ошибка связана с тем, что асинхронный pyppeteer не успевает сохранить скриншоты (процесс не завершён), но данные отходят дальше в загрузчику, в данных скриншот имеется, а физически нет. Требуется добавить ожидание