EXP-Tools / threat-broadcast

威胁情报播报
https://exp-tools.github.io/threat-broadcast/
GNU General Public License v3.0
374 stars 179 forks source link
broadcast cve programming safe threat

Threat-Broadcast

威胁情报播报


fork star

commit Contributors

license release PRs Welcome

运行环境

项目介绍

从以下公开的威胁情报来源爬取并整合最新信息:

关于 CVE 收录的完整性问题说明
本程序只收录国内外安全厂商已收录并分析的 CVE,并不收录所有 CVE,需要全量 CVE 的同学可自行去以下站点下载: - CVEs 官网: https://cve.mitre.org/ - GitHub(CVEs 实时同步): https://github.com/CVEProject/cvelist - CIRCL(CVEs 实时同步): https://cve.circl.lu/ 或 https://cve.circl.lu/api/browse - 每日 CVE: https://cassandra.cerias.purdue.edu/CVE_changes/today.html

爬取到的 CVE 情报会作如下处理:

目前最有效的推送方式是邮件推送(建议使用手机邮箱,如 139 可触发短信通知)
因 QQ 机器人已停止服务,暂无法实现 QQ 群自动推送
因 WeChat 公众号停止个人号群发服务,现只能用户自己手动获取推送

播报效果
![](https://github.com/lyy289065406/threat-broadcast/blob/master/imgs/email.png)

订阅方式

威胁情报推送源

认准我的推送源,勿点击来历不明链接,慎防钓鱼

开发者部署

无服务器方式(推荐)
本项目已配置 [Github Actions](https://docs.github.com/cn/actions/configuring-and-managing-workflows/configuring-a-workflow),因此你只需轻松几步即可实现部署: - [Fork 本项目](https://github.com/lyy289065406/threat-broadcast) 到你的代码仓库 - 通过 Settings --> Secrets 配置用于 **发送** 威胁情报邮件的 3 个环境变量: - `MAIL_SMTP`: SMTP 服务器(国内推荐 QQ),如 `smtp.qq.com` - `MAIL_USER`: 邮箱账号,如 `threatbroadcast@qq.com` - `MAIL_PASS`: 邮箱密码 - `GRAPAQL_TOKEN`: 用于调用 Github GraphQL 接口加载收件人,可于个人 `Settings` 生成 - 启用 Settings --> Actions 功能 > 尔后程序便会每小时执行一次,并自动生成 [Github Page](https://lyy289065406.github.io/threat-broadcast/) 播报页面(若要调整执行频率,可修改 [`autorun.yml`](.github/workflows/autorun.yml) 的 `schedule` 触发时点) ![](imgs/secrets.png)
有服务器方式
### 安装 - 任意找一台 Linux 服务器(阿里云、腾讯云等) - 安装 python 3.8 - 安装 python 依赖: `python -m pip install -r requirements.txt` - 把仓库 checkout 到服务器本地: `git clone https://github.com/lyy289065406/threat-broadcast` - 安装 python 依赖: `python -m pip install -r requirements.txt` > 国内的云主机(阿里云/腾讯云等)为了避免滥发邮件默认关闭了对 SMTP 25 端口的出口流量,直接导致邮件无法发送。 解封需要到控制台申请,例如 《[阿里云 25 端口解封](https://help.aliyun.com/knowledge_detail/56130.html?spm=a2c4e.11153940.0.0.50664791wrBD3D&source=5176.11533457&userCode=r3yteowb&type=copy)》、 《[腾讯云 25 端口解封](https://cloud.tencent.com/document/product/213/40436)》 ### 配置定时任务 - 修改 crontab 配置文件,设置定时任务: `vim /etc/crontab` - 设置定时任务命令(每小时): `0 * * * * root python ${workspace}/threat-broadcast/main.py [-any_args]` - 注意脚本位置需使用绝对路径,根据实际 checkout 的位置修改即可 - 保存 crontab 配置文件后会自动生效,查看日志: `tail -10f /var/log/cron` > 程序运行参数可通过 [`main.py -h`](main.py) 查看帮助文档 ### 自动生成 Github Page 播报页面 - 安装 git 命令行客户端 - 打开项目目录: `cd ${workspace}/threat-broadcast` - 设置使用 SSH 与 Github 连接(避免提交内容时要输入账密),详见 [这里](https://help.github.com/en/articles/connecting-to-github-with-ssh) - 若设置 SSH 后还要输入密码才能提交,则还需要把仓库的 https 协议改成 ssh,详见 [这里](https://help.github.com/en/articles/changing-a-remotes-url#switching-remote-urls-from-https-to-ssh) - 在 [`main.py`](main.py) 添加运行参数 `-ac` 可自动提交变更到仓库 > 只要爬取到新的威胁情报则会刷新 [`docs/index.html`](docs/index.html),将其提交到仓库会自动更新 [Github Page](https://lyy289065406.github.io/threat-broadcast/)

RoadMap

  1. 增加供应链情报:某些很基础且被大量应用的第三方构件,突然有个很旧的历史版本放出更新,尤其是 rc 版本,则推送情报。(如 log4j)
  2. ....

目录说明

threat-broadcast
├── README.md ............................... [项目说明]
├── main.py ................................. [程序运行入口]
├── cache ................................... [威胁情报缓存]
├── data
│   └── cves.db ............................. [sqlite: 威胁情报归档]
├── docs .................................... [Github Page 威胁情报总览]
├── recv
│   ├── mail_*.dat .......................... [接收威胁情报的邮箱]
│   └── qq_group.dat ........................ [接收威胁情报的 QQ 群]
├── src ..................................... [项目源码]
├── script .................................. [数据库脚本]
├── tpl ..................................... [模板文件]
├── imgs .................................... [项目图片]
└── logs .................................... [项目日志]

版权声明

 Copyright (C) EXP,2016 License: GPL v3