search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.25k stars 739 forks source link

json key的重命名和sleep优化 #363

Closed hjyssg closed 1 year ago

hjyssg commented 1 year ago

  1. 重命名了两个json key，同时保证向前兼容。之前的命名我作为纯用户的时候觉得有点难懂 "filter" => "only_crawl_original" "result_dir_name" => "user_id_as_folder_name"

  2. sleep优化 爬第一个用户的时候，不要什么都没干就sleep

dataabc commented 1 year ago

重命名后确实更易读了，已merge，感谢。