超过10万条分批下载后再同时解析存入Sqlite

tomleung1996 / wos_crawler

Web of Science Crawler

223 stars 73 forks source link

Closed keithkang1986 closed 3 years ago

keithkang1986 commented 3 years ago

请问检索结果超过10万条后，采用了分批量下载的方法，怎样才能把分批量下载结果放在同一个文件夹中再同时解析，并存入一个数据库？谢谢！

tomleung1996 commented 3 years ago

放到同一个文件夹（可以嵌套文件夹）然后调用单独的解析程序即可，注意修改路径