2019年03月29日 探索 日志数据 解决方案

[imzyf]

用户数据对产品优化有很大的指导作用，项目不能当然，要有数据的支撑。

产品中的数据埋点，用户数据收集；用户数据的清理；数据呈现；数据查找，这一套方案如何做的方案，值得不断优化、探索。

[imzyf]

Nginx log 文件

利用 Nginx log 文件记录数据。比如：

/log?event=click&name=Tom&position=top ... &ts=date

• ts 防止缓存

发起 Get 请求，让 Nginx og 文件记录下了，再中 log 文件中整理数据，Nginx log 也有 agent、ip 等基本信息

优点

日志数据好备份，好转移；记录在线上数据库中，日志数据量大，数据导出可能会导致数据库慢查询

[imzyf]

ELK

Elasticsearch+Logstash+Kibana https://www.elastic.co/ 一套成熟的日志数据解决方案

ELK 最近自己在尝试使用，还不熟悉。使用 docker 可以快速搭建起来。

https://github.com/deviantony/docker-elk 可以先跑跑爽一下，自带了测试数据

[imzyf]

一些相关文章

• 创业公司做数据分析（一）：先来捋捋思路！ https://zhuanlan.zhihu.com/p/25952593
• Kibana（一张图片胜过千万行日志） https://www.cnblogs.com/cjsblog/p/9476813.html
• Elastic Stack 日志分析平台搭建笔记 https://segmentfault.com/a/1190000018110747
• Elastic Stack倒腾（1）- 使用Logstash从MySQL导入数据到Elastic https://tyloafer.github.io/2018/05/11/elk-1-init/
• Web 端如何做用户行为统计？https://www.zhihu.com/question/30077173

[tyl569]

赞~ 日志的消费往往会比生产慢，我们通常会加入到kafka队列，同时可以根据需要接入其他client，从kafka消费数据。更好的实现日志数据的共享！