search

zhuozhuo233 / weibotop-emotional-analysis

1 stars 0 forks source link

你好，我正在学习您的一个微博情感分析项目，遇到一个问题 #1

Open xyz-999 opened 1 year ago

xyz-999 commented 1 year ago

你好，我正在学习您的一个微博情感分析项目，遇到一个问题，在基于kafka的微博情感分析与可视化实现这个项目中，在项目流程中的第三步，Consumer消费者接收内容，并持久化保存中，执行后，csv文件并没有写入数据，只是显示Columns: [window, title, avg(sentiment_score)] Index: []，研究了很久，没有发现自己的错误在哪里，求帮助

zhuozhuo233 commented 1 year ago

你好，那篇博客后面的‘四.项目流程’中我放了各个部分的运行截图可以参考一下前面Producer部分有没有问题。Producer有问题的话我认为可以检查一下Producer代码中的headers,各种url和网页结构部分现在还正不正确。刚刚看了一下Consumer的代码60与61行，如果Consumer运行后shell界面有打印内容的话就应该会将其写入csv，否则的话我认为是topic的问题，建议查一下kafka topic相关。这个太久前做的，我现在没有这个环境了也只能干看博客上的记录和代码...

xyz-999 commented 1 year ago

太感谢了，作为目前还不太会的我帮助很大，感谢你的回复啦，我差不多解决了那个问题了，就是topic的问题，删除之前的几次后，终于正常了

另外我想问一下，如果我现在想针对一个热搜爬取下来比现在更多的数据，具体需要更改代码的那一部分， 如果后面我想将数据不保存在csv文件中，而是保存在MySQL数据库中，有可行性吗 （如果忙的话，不用回复）

 

------------------ 原始邮件 ------------------ 发件人: "zhuozhuo233/weibotop-emotional-analysis" @.>; 发送时间: 2023年4月12日(星期三) 下午5:55 @.>; @.**@.>; 主题: Re: [zhuozhuo233/weibotop-emotional-analysis] 你好，我正在学习您的一个微博情感分析项目，遇到一个问题 (Issue #1)

你好，那篇博客后面的‘四.项目流程’中我放了各个部分的运行截图可以参考一下前面Producer部分有没有问题。Producer有问题的话我认为可以检查一下Producer代码中的headers,各种url和网页结构部分现在还正不正确。刚刚看了一下Consumer的代码60与61行，如果Consumer运行后shell界面有打印内容的话就应该会将其写入csv，否则的话我认为是topic的问题，建议查一下kafka topic相关。这个太久前做的，我现在没有这个环境了也只能干看博客上的记录和代码...

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

zhuozhuo233 commented 1 year ago

针对一个热搜的话可以参考https://github.com/zhuozhuo233/weibotop-emotional-analysis/tree/main get_weibo_list(url)是当前url整页，思路的话我想在外层加一个翻页的操作，对每一页都get_weibo_list()。或者是想办法更新这个url？ 保存在数据库中肯定是完全可行的，搜kafka mysql相关，方案很多的

xyz-999 commented 1 year ago

好的，谢谢你的提示，非常感谢！

 

------------------ 原始邮件 ------------------ 发件人: "zhuozhuo233/weibotop-emotional-analysis" @.>; 发送时间: 2023年4月12日(星期三) 晚上6:55 @.>; @.**@.>; 主题: Re: [zhuozhuo233/weibotop-emotional-analysis] 你好，我正在学习您的一个微博情感分析项目，遇到一个问题 (Issue #1)

针对一个热搜的话可以参考https://github.com/zhuozhuo233/weibotop-emotional-analysis/tree/main这个，get_weibo_list(url)是当前url整页，思路的话我想在外层加一个翻页的操作，对每一页都get_weibo_list()。或者是想办法更新这个url？ 保存在数据库中肯定是完全可行的，搜kafka mysql相关，方案很多的

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>