search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

单机多进程模式下，MySQL 连接报错：通常每个套接字地址(协议/网络地址/端口)只允许使用一次 #227

Open YufengSoft opened 1 year ago

YufengSoft commented 1 year ago

我没有使用 feapder.BatchSpider 之类的爬虫进行操作，只是写了个脚本来处理文件，手动创建 UpdateItem 对象，然后 PIPELINE.update_items 入库，单进程的情况下没有一点问题，挂了一晚上 6w 多数据也都正常入库

但是当我多开几个进程的时候，不到 5 分钟就报错了，我修改了 MySQL 连接数最大值也没用，报错内容如下：

MainThread|2023-07-04 14:01:09,577|mysqldb.py|init|line:76|ERROR| 连接失败： ip: localhost port: 3306 db: xxxxxx user_name: xxxxxx user_pass: xxxxxx exception: (2003, "Can't connect to MySQL server on 'localhost' ([WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次。)")

报错的地方不固定，但都是与创建连接池有关，暂时不清楚是什么原因

shouge commented 6 months ago

这是在Windows 系统上吧?