search

dd-center / vtbs.moe

Virtual YouTubers in bilibili
https://vtbs.moe
MIT License
611 stars 37 forks source link

有考虑做每日打赏以及开播发言人数统计吗 #2

Closed TomoeMami closed 5 years ago

TomoeMami commented 5 years ago

我是之前在NGA发帖猴子统计操作方法的那位。 现在基本上不看vtuber了，所以也懒得每天手动填那个在线表格（而且都快一个月过去了实际上只有我一个人在填写），因此想问一下你有没有兴趣在网站上展示这方面的数据。 如果你愿意自己采集数据的话当然好，不愿意的话我也可以继续收集然后转交给你。

simon300000 commented 5 years ago

这个是需要一个持续WebSocket连接到直播间是吗？ 我的确有兴趣做，在网站上展示这些东西，我也用Nodejs写了一个专门拿来连接ws的库 https://github.com/simon300000/bilibili-live-ws

可是我最近几天比较忙。。。

但是我的确有这样的兴趣，并且应该可以自己采集数据。只是不知道如果我和这个B站的websocket建立几百个连接会不会被ban？ 因为我之后有时间了想做的包括用 pwa Push Notifications 开播提醒，所以可能会很暴力的直接打开100个直播间ws连接

我已经差不多摸清api服务器被ban的限制了，这个ws我还不知道→_→

simon300000 commented 5 years ago

还有一个问题就是怎么在网站上展示数据 倒是可以简单的在细节里面多加一个栏目

TomoeMami commented 5 years ago

不清楚，我目前是用弹幕库链接52个直播间，没有异常。

怎么展示数据就看你自己的喜好了吧，是全部放一个地方还是在每个vtb的detail界面新增图表，感觉都不错。

simon300000 commented 5 years ago

嘿嘿 ok 那100个应该也没问题

TomoeMami commented 5 years ago

在你做好之前我还是暂时继续收集吧，到时候把之前的csv发给你。

simon300000 commented 5 years ago

我在想数据格式怎么搞 似乎最方便的方法是每个vtb的所有历史数据全都存到一起，这个分辨率是按天对吧？

TomoeMami commented 5 years ago

受限于工具，我是按天统计的。 你自己抓取的话，应该可以更加细化的吧。

simon300000 commented 5 years ago

那这样我就不需要你的数据了，可以直接自己从头开始统计

我一直在担心服务器硬盘空间（目前来看完全不需要担心

我在想着直播间没开的时候不统计，开播时一分钟统计一次，每分钟的弹幕数和礼物数，然后关播就停止 这样应该也能画个图出来

simon300000 commented 5 years ago

想樱美Yuna-Official这样的我就很懵逼，24小时直播，我24小时统计→_→

TomoeMami commented 5 years ago

好，不过虚空上舰/送礼的怎么办

simon300000 commented 5 years ago

对啊，这是一个问题

或者开播时一分钟统计一次，细致的 没开播时一天一次 这样也有个总结的效果

TomoeMami commented 5 years ago

我从5-1开始用弹幕库抓取信息，今天已经存了700M的纯文本了，就是那52个直播间。

TomoeMami commented 5 years ago

所以是统计每分钟收到的打赏吗

simon300000 commented 5 years ago

妈呀，你具体时怎么统计的700M，什么信息！？

simon300000 commented 5 years ago

是的，弹幕数和礼物数， 但是估计就一个数字，没有xxxx在xx时候给了几个的计划

TomoeMami commented 5 years ago

就是利用弹幕库的抓取功能，保存的所有信息啊。 http://ws3.sinaimg.cn/large/006MV2nZly1g2v0m6wy7bj30n50qvwfh.jpg

simon300000 commented 5 years ago

包括弹幕文本什么的？ 这个我应该不会统计 所以不会那么大

TomoeMami commented 5 years ago

有计划大概什么时候做吗

simon300000 commented 5 years ago

保守估计一个月后

simon300000 commented 5 years ago

我算了一下，假设一个人24小时直播，直播一年 一个数据{\"time\":1557380919546,\"danmu\":24367287,\"gift\":{\"a\":932,\"b\":932,\"c\":932,\"d\":932}}

我需要记录365*24*60=525600个数据，大概是45MB

似乎还可以

TomoeMami commented 5 years ago

这是每分钟“礼物数”和“评论数”吧，打赏总额、单次直播发言人数会统计吗

simon300000 commented 5 years ago

这个其实都可以在客户端算吧，每分钟加起来就行吧

simon300000 commented 5 years ago

我一直很注意硬盘空间使用，有点ptsd不知道为什么 现在数据库才 6.0M 所以我理论上不需要太担心

simon300000 commented 5 years ago

有了这个一分钟直播统计，现在那个五分钟人气统计就不需要了 要不数据直接追加上去→_→ 然后现在这个 总直播时长 也改成 平均每天/星期直播时长 大概就这样搞吧

TomoeMami commented 5 years ago

好的，在你弄好之前我先继续统计着吧。

simon300000 commented 5 years ago
image

可行性测试没有问题，具体实施要过好久 我太忙啦→_→

TomoeMami commented 5 years ago

你监控的vtber有名单吗？求一份，我想对照着这个列表调整自己监控的对象。

simon300000 commented 5 years ago

有有有 https://github.com/simon300000/vtbs.moe/blob/master/api/vtbs.js

也看看有没有我缺的？

simon300000 commented 5 years ago

我刚刚在直播间看到一个好办法，我还可以追加记录弹幕每天说话最多的前100名DD→_→ 这个功能实际需要的储存也不会很多

TomoeMami commented 5 years ago

😂我对照着你的列表弄的名单。 原来这个账号事你

simon300000 commented 5 years ago

啊，什么是我？

TomoeMami commented 5 years ago

是官方账号啊，我还以为是某个高仿

原来首行的是主播ID不是发言账号ID，，，

simon300000 commented 5 years ago

是主播ID和直播间ID啦

TomoeMami commented 5 years ago

有办法处理节奏风暴吗 弹幕库的作者好像能过滤掉节奏风暴，但他的程序没开源。

simon300000 commented 5 years ago

我可以多观察一下，我猜测节奏风暴有识别方法 真不行可以在礼物列表观察节奏风暴，然后接下来一分钟屏蔽指定词

TomoeMami commented 5 years ago

你现在用的机房是什么配置什么价格啊

simon300000 commented 5 years ago

https://www.vultr.com/pricing/ $20/mo 的

imlonghao commented 5 years ago 
{"cmd":"DANMU_MSG","info":[[0,1,25,16777215,1558316346,0,0,"36f7417e",0,1,0],"你们对力量一无所知~(￣▽￣)~",[REDACTED],[REDACTED],[REDACTED],[REDACTED],0,0,null,{"ts":REDACTED,"ct":"REDACTED"}]}

节奏风暴的标志位大概就是 data.info[0][9]

simon300000 commented 5 years ago 
{"cmd":"DANMU_MSG","info":[[0,1,25,16777215,1558316346,0,0,"36f7417e",0,1,0],"你们对力量一无所知~(￣▽￣)~",[REDACTED],[REDACTED],[REDACTED],[REDACTED],0,0,null,{"ts":REDACTED,"ct":"REDACTED"}]}

节奏风暴的标志位大概就是 data.info[0][9]

其实我用了和硬核的方法发现了这个 直接console.log, 结果战斗吧歌姬有石油佬送了好多节奏风暴，于是给我猜出来了2333 https://github.com/bilibili-dd-center/bilibili-vtuber-danmaku/issues/1#issuecomment-491282863

3Shain commented 5 years ago

为什么不先看看bilichat源码 就在message-processor.service里(逃

simon300000 commented 5 years ago

为什么不先看看bilichat源码 就在message-processor.service里(逃

当时我头铁，没想到去你那儿翻代码233 不过写那个pure的时候发现了，感叹还好有石油佬送风暴，不然我估计要许多浪费时间。。。

simon300000 commented 5 years ago

现在发言人数有https://github.com/bilibili-dd-center/bilibili-vtuber-danmaku#readroomid-date 可以简单整合进网站 @cqjjjzr 在做打赏统计的工作

simon300000 commented 5 years ago

现在是在用api.vtb.wiki→_→ https://github.com/bilibili-dd-center/go-vtuber-wiki-api