search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.22k stars 737 forks source link

为什么按照你的文档配置还是不能写入MySQL数据库，按照之前的有错误的地方，我也添加 #419

Open markhome1 opened 4 months ago

markhome1 commented 4 months ago

微信截图_20240310150902 是不是这里需要改成自己系统配置，还是说只要改config.json里面的配置就好，但是我改了config里面的数据，还是录入不到MySQL数据库中，麻烦代码大佬解决

markhome1 commented 4 months ago

有没有就是说分布式方法运行这些爬虫代码，就是有时候爬取的东西有点多的话，需要很长的时间

markhome1 commented 4 months ago

是不是可以考虑用scrapy-redis的方法来解决这些问题，那我需要更改的代码可以有哪些行呢

dataabc commented 4 months ago

一般修改config就可以，不过有的使用者的MySQL的不能写入，应该和数据库的设置有关，这个你网上搜索一下。本程序没有分布式版本。