README

[veaba]

公布下最近的功能迭代/ Update Logs

todo

• 使用爬虫爬取微博的数据

• 爬取权威官网的数据

• 产生的数据，交叉对比数据库，输出到News

• 在控制台中，手动应用到数据库，这一步需要做权限控制（先上Github，有条件再上微博登录）

• 后端实时推送消息到前端展示

• 增加多种类型的分析表格

• 增加timeline

以上，在做中，手病犯了，歇一会。

后续的素材收集可能需要帮忙。。

以上

2020-1-23 23:21:42

---

新闻模块

• [x] 爬取央视新闻页面数据丢到kafka
• todo 增加定时器，每2分钟，爬取前2页，数据通过socket 推送到前端
  • 新闻增加分级

  • 级别高危的，modal 弹窗提示到前端 以上 2020年1月24日12:31:15

    新闻模块

• [x] 爬取央视新闻页面数据丢到kafka
• [x] kafka 消费者加入到数据库中，并同步推送到前端，明天转为node开发来实现，python难搞
• [x] 增加定时器，每2分钟，爬取前2页，数据通过socket 推送到前端
  • python 的协程有点搞不懂，后续socket转为node实现推送。搞了一天了。
  • todo 新闻增加分级

  • todo 级别高危的，modal 弹窗提示到前端 以上 2020年1月25日01:00:21

• [x] 爬取央视新闻页面数据丢到kafka
• [x] kafka 消费者加入到数据库中，并同步推送到前端
• [x] socket 转为node 实现
• [x] 增加定时器，每2分钟，爬取前2页，数据通过socket 推送到前端
  • python 的协程有点搞不懂，后续socket转为node实现推送。搞了一天了。
  • todo 新闻增加分级
  • todo 级别高危的，modal 弹窗提示到前端，明天做

2020年1月26日00:00:28

• [x] 爬取央视新闻页面数据丢到kafka
• [x] kafka 消费者加入到数据库中，并同步推送到前端
• [x] socket 转为node 实现
• [x] 增加定时器，每2分钟，爬取前2页，数据通过socket 推送到前端
  • socket转为node实现推送。
  • [x] 后端推送新闻到前端
  • [x] 前端表单report 给后端，后端socket 将report 的消息推送到前端并更新地图或者大图
  • 明天主要增加授权，完成授权后接下来就出来各种图表的数据格式转换
  • todo 增加控制台 ，将Github 授权用户report后台的消息pass后，即可正常作为范例。
  • 可能：将report的消息通过发到isuues

2020年1月27日01:31:33

• [x] 爬取央视新闻页面数据丢到kafka
• [x] kafka 消费者加入到数据库中，并同步推送到前端
• [x] socket 转为node 实现
• [x] 增加定时器，每2分钟，爬取前2页，数据通过socket 推送到前端
• [x]socket转为node实现推送。
• [x] 后端推送新闻到前端
• [x] 前端表单report 给后端，后端socket 将report 的消息推送到前端并更新地图或者大图
• [x] 增加控制台 ，将Github 授权用户report后台的消息pass后，即可正常作为范例
• [x] 开发前端控制台
• [x] 后端apply、
• [ ] 后端授权闭环、mongo+redis+GitHub OAuth授权，以socket 的sid 作为凭证，断开需要重启应用授权，免密，最大保证用户信息安全
• todo 可能：将report的消息通过发到isuues
• todo 明天主要开发前端控制台，模块对接，授权后接下来就出来各种图表的数据格式转换
• todo 预计两三内可出beta 版本

2020年1月27日22:59:55（手病实在严重，码不了代码了。今天早点收工）

[terryyz]

想帮忙！！！只是不知道能不能帮的上。。

[veaba]

2020年1月29日03:44:46

[x] 开发前端控制台 [x] 前端后端开发联调完成审核流程、 后端授权闭环、mongo+redis+GitHub OAuth授权，以socket 的sid 作为凭证，断开需要重启应用授权，免密，最大保证用户信息安全 todo 地图开发 todo 爱心消息开发 todo 预计两三天内可出beta 版本

添加一个审核流程

审核流程，完成开发。

[veaba]

2020年1月29日06:54:07

• [x] 前端增加timeline,
• todo 后端等待开发timeline

[veaba]

本项目全程通过socket通信，暂不提供API

流程:

授权流程

提醒： 不要刷新页面，本页面与后端交互是通过socket.io，刷新页面即认为重新登录，需要重新走授权流程

1. 右上角仪表盘-点击Github小图标OAuth给本项目使用（仅注册使用，相关内容见 OAuth，你也可以取消授权）

报告录入

1. 授权通过后，出现若干按钮，点击录入，录入信息

审核流程

1. 管理员现为@veaba 人工审核，审核通过，即收录在时间轴里面，同时数据值也会被地图使用
2. 账号目前仅开放给Github用户，需要管理员权限的，可以联系@veaba

消息推送

todo 此处需要调整策略 上述情况下，两分钟一次后端推送权威媒体的新闻，推送给新闻流

todo 爱心流程，如果信息录入流程

1. 也需要管理员审核，也会出现在timeline，地图上出现爱心的打点迁徙

todo 紧急消息

1. 地图中间，出现modal，涉及到紧急消息的发放，
2. 1分钟后自动消息

时间轴

1. 报告被审核录入
2. 爱心流程

todo 地图

1. 区县级 数据

确诊、死亡、治愈、疑似

数据自动更新，自动滚动

todo 所有图表

全部自动实时更新

[veaba]

2020年1月30日21:19:23

1. 在完成todo 和图表
2. 其他渠道已全部走通
3. 麻烦的地方时，如何对接那些数据。

[veaba]

2020年1月31日03:10:44

• [x] 录入+审核+实时更新到地图+实时滚动数据交互完成
• todo 绘制省份rank 排行
• todo 绘制占比
• tood 对接过来微博的数据，并可能应用到或者拆分(做个按钮来提示生效什么的)合并到统计库中
• todo 修改bug

[veaba]

2020年2月1日04:49:57

考虑到数据无法自己维护，所以推翻了过去一周的工作内容。

现在变更为调用腾讯的接口，前面一周的的内容会后续调用一些，比如之前说的弹幕

• todo 时间轴变化
• 爱心 打点
• 迁徙有点难看

[veaba]

2020年2月3日03:12:50

• [x] 发布新版本beta，全实时大屏。
• todo 爱心捐赠和需求等在整合汇总

[veaba]

2020年2月3日16:33:54 以下为todo

• feat CDN托管类库
• feat 页面loading动画实现有数据才初始化数据动画
• feat 增加确诊、治愈、死亡、动画效果（长时间不更新确实很难看到动画效果的滚动）
• bug resize变动重新初始化，现在有卡滞的现象
• feat 增加弹幕功能，登录用户可以发言
• feat 增加爱心包裹的地图功能
• feat 增加存储历史数据到数据库
• feat 增加在线人数统计功能
• bug redis 配置错误，无法连接

[veaba]

2020年2月5日04:51:45

• [x] 组成kafka集群，用于弹幕写入数据

[veaba]

2020年2月6日01:25:40

• [x] 后端kafka+mongodb 存储首次弹幕，完成A用户推送B用户接收
• todo 前端需要设计下弹幕效果。

[veaba]

2020年2月8日04:01:38

• todo 弹幕系统，这两天会进入beta版本，最后的修缮。
  • 弹幕以前没写过，动画有点low
• todo 还有些体验的bug需要修复和优化代码性能。
• 首次连接的功能尚未完善。
• socket反应迟钝
• 性能上要求是Chrome且是PC

[KagurazakaHanabi]

要不试试这个弹幕库？ https://github.com/jabbany/CommentCoreLibrary

[veaba]

要不试试这个弹幕库？ https://github.com/jabbany/CommentCoreLibrary

先上去，不合适再换吧，回头再参考这个。先马克

[veaba]

2020年2月9日02:31:15

• 弹幕上线惨遭打脸
• 有一个非常严重缺陷需要处理，auth授权没有处理好
• kafka返回太慢了。

[veaba]

2020年2月9日02:31:15

• 弹幕上线惨遭打脸
• 有一个非常严重缺陷需要处理，auth授权没有处理好
• kafka返回太慢了。

2020年2月9日02:57:48

以上，fix

• [x] kafka的速度有点慢
• todo 弹幕有时候很卡