striver-ing / wechat-spider

开源微信爬虫:爬取公众号所有 文章、阅读量、点赞量和评论内容。易部署。持续维护!!!
2.31k stars 588 forks source link

外部__biz列表导入MySQL无法识别问题(已解决) #54

Closed dokd233622 closed 2 years ago

dokd233622 commented 2 years ago

以下问题已经解决,原因为向数据库导入的csv,在文件头以及行末存在不可见字符,删除后运行正常。

大家好!在mySQL中,我把外部获得由csv文件导入的几百个biz存在了另一张表里,如果我手动粘贴(另一张表里)具体的值到wechat_account_task中,程序运行良好,可以提取内容。但当我用SQL 命令复制那些外部biz值到wechat_account_task的__biz列中,程序不报错,但是无法开始遍历各个微信号历史文章列表(停留在我一开始打开的公众号页面,说马上刷新,但是不刷新)。让我很纳闷头疼了好几天,希望得到各位指教!

更新: 研究了一下发现。虽然从csv导入的biz号显示的和正常的biz字段一模一样,但是binary里面看会多一行 0x00000010, 里面往往是“0d”。 猜测这个差别是导致程序无法读取__biz的原因。但mySQL怎么处理为好呢?

载入csv文件的代码如下: LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Data/wx250/biz/biz1_250.csv' INTO TABLE importtable; CHARACTER SET UTF8 FIELDS TERMINATED BY '\n' LINES TERMINATED BY '\n';

p.s. 我电脑是美国买的,常有默认编码不兼容的问题。