ChangxingJiang / CxSpider

长行的爬虫集合:微博、Twitter、玩加、知网、虎牙、斗鱼、B站、WeGame、猫眼、豆瓣、安居客、居理新房
367 stars 106 forks source link

使用twitter爬虫程序遇到的几个问题及解决方法 #18

Open HYJJJJJJJJ opened 3 years ago

HYJJJJJJJJ commented 3 years ago

问题

  1. 遇到了与Twitter推文爬虫,无法爬部分用户相同的问题
  2. 如果捕获的推文为主页作者的回复,则捕获不到回复的具体内容

    解决方法

  3. 在Line 125底下,加上
    if not isinstance(text, bool):
  4. 在解析推文内容时,尝试再获取一个标签的内容。在Line115行下添加:
    if label := label_tweet.find_element_by_css_selector(
    "article > div > div > div > div:nth-child(2) > div:nth-child(2) > div:nth-child(2) > div:nth-child(2)"):
    item["text"] += ' | ' + label.text

    Python初学者,有问题麻烦指出!