Open linux-dxr opened 9 months ago
大概率是代理质量问题
我未使用代理,我的电脑默认使用的是外网。但同情况一直有爬虫警告:[py.warnings] WARNING: C:\Users\test\AppData\Roaming\Python\Python39\site-packages\curl_cffi\aio.py:205: UserWarning: Curlm alread closed! quitting from process_data warnings.warn("Curlm alread closed! quitting from process_data")和时不时的爬虫异常:curl_cffi.requests.errors.RequestsError: Failed to perform, curl: (56) . See https://curl.se/libcurl/c/libcurl-errors.html first for more details.即无法接收网络数据。这样的情况也是我的网络质量原因吗?
我未使用代理,我的电脑默认使用的是外网。但同情况一直有爬虫警告:[py.warnings] WARNING: C:\Users\test\AppData\Roaming\Python\Python39\site-packages\curl_cffi\aio.py:205: UserWarning: Curlm alread closed! quitting from process_data warnings.warn("Curlm alread closed! quitting from process_data")和时不时的爬虫异常:curl_cffi.requests.errors.RequestsError: Failed to perform, curl: (56) . See https://curl.se/libcurl/c/libcurl-errors.html first for more details.即无法接收网络数据。这样的情况也是我的网络质量原因吗?
我也有 “ UserWarning: Curlm alread closed! quitting from process_data”这样的警告,只会出现一次,后续的请求不会出现。虽然不是报错但是还是挺不舒服的。我发现只要在调用close之前await asyncio.sleep(0.8)就不会有这样的警告。你有什么解决方法了吗
各位有遇到过这种使用代理请求然后偶尔报这种异常的么,大部分正常请求,但是偶尔报这种错,遗漏很多请求,有解决方案么 完整报错: