dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.41k stars 761 forks source link

微博账号IP属地抓取 #298

Open vicshi94 opened 2 years ago

vicshi94 commented 2 years ago
image

增加微博账号IP属地抓取只需要修改几处即可:

zh_list = ["生日", "所在地", "IP属地", "小学", "初中", "高中", "大学", "公司", "注册时间", "阳光信用"]
            en_list = [
                "birthday",
                "location",
                "ip_location", 
                ...
def user_to_csv(self):
        """将爬取到的用户信息写入csv文件"""
        ...
        result_headers = [
            "用户id",
            "昵称",
            "性别",
            "生日",
            "所在地",
            "ip属地", 
            ...

暂时仅有补充账号IP属地的需求,且只抓取微博账户信息,不抓取微博信息,所以仅供参考。 另外不确定ip属地的值的格式是什么样,所以保留了“(IP属地以运营商信息为准,如有问题可咨询客服)”这句话,这个好修改的。

LuqianSun commented 2 years ago

这个的IP属地抓下来是空的吧😂

vicshi94 commented 2 years ago

因为字段变了,你现在按原来的代码爬,这些都是空的:生日,所在地,ip属地,学习经历,公司,注册时间,阳光信用

June-915 commented 2 years ago

所以你是改了哪些字段,没有cookie吗