search

dataabc / weiboSpider

新浪微博爬虫，用python爬取新浪微博数据
8.37k stars 1.98k forks source link

请教几个问题 #334

Closed hongxiujie closed 3 years ago

hongxiujie commented 3 years ago

请问程序用了什么框架 还有功能是怎么实现的

dataabc commented 3 years ago

本程序用python3实现的，没有用框架。字段是解析的网页，然后根据使用者配置写入/下载文件。

hongxiujie commented 3 years ago

可以具体说一下程序是怎样设计的吗

------------------ 原始邮件 ------------------ 发件人: Chen Lei @.> 发送时间: 2021年5月14日 18:25 收件人: dataabc/weiboSpider @.> 抄送: hongxiujie @.>, Author @.> 主题: 回复：[dataabc/weiboSpider] 请教几个问题 (#334)

本程序用python3实现的，没有用框架。字段是解析的网页，然后根据使用者配置写入/下载文件。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 3 years ago

大部分程序在weibo_spider文件夹内，spider.py控制主要部分，downloader负责文件下载，parser负责网页解析，writer负责文件和数据库写入。你可以从spider.py阅读。

hongxiujie commented 3 years ago

spider里面的主要都是定义是吗

------------------ 原始邮件 ------------------ 发件人: Chen Lei @.> 发送时间: 2021年5月15日 18:18 收件人: dataabc/weiboSpider @.> 抄送: hongxiujie @.>, Author @.> 主题: 回复：[dataabc/weiboSpider] 请教几个问题 (#334)

大部分程序在weibo_spider文件夹内，spider.py控制主要部分，downloader负责文件下载，parser负责网页解析，writer负责文件和数据库写入。你可以从spider.py阅读。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 3 years ago

spider.py是主程序，它调用其它程序

hongxiujie commented 3 years ago

所有功能不是通过main函数中调用spider类实现的吗？然后spider又调用downloader、parser、writer这三个部分？

------------------ 原始邮件 ------------------ 发件人: Chen Lei @.> 发送时间: 2021年5月19日 18:31 收件人: dataabc/weiboSpider @.> 抄送: hongxiujie @.>, Author @.> 主题: 回复：[dataabc/weiboSpider] 请教几个问题 (#334)

spider.py是主程序，它调用其它程序

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 3 years ago

是的

hongxiujie commented 3 years ago

数据库里面可以显示图片视频链接吗

------------------ 原始邮件 ------------------ 发件人: Chen Lei @.> 发送时间: 2021年5月20日 17:51 收件人: dataabc/weiboSpider @.> 抄送: hongxiujie @.>, Author @.> 主题: 回复：[dataabc/weiboSpider] 请教几个问题 (#334)

是的

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 3 years ago

显示

stale[bot] commented 3 years ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

stale[bot] commented 3 years ago

Closing as stale, please reopen if you'd like to work on this further.