Open moooofly opened 5 years ago
除了 Filebeat,另外值得一提的是社区实现 Cloudfrontbeat。由于我的博客前置了 CloudFront 作为加速和缓存,因此 Nginx 日志中的信息并不完整,而 Cloudfrontbeat 则可以用来解析并上传 CloudFront 边缘节点的日志。
Cloudfrontbeat 的原理是:
ObjectCreate
事件发布到一个 SQS 消息队列中;此外 Cloudfrontbeat 提供了 backfill 模式,可以遍历指定日期范围内已经存在于 S3 内的日志文件,将其信息灌进 SQS,然后再切换成正常的 worker 模式跑起来,就能把旧日志也灌进 ES 了。
Cloudfrontbeat 作者提供了一个 CloudFormation,可以一键把 S3 + SQS 配置好。
Amazon CloudFront 全球边缘网络
为了以更低的延迟向最终用户提供内容,Amazon CloudFront 使用了一个包含 166 个接入点(155 个边缘站点 (Edge Locations)和 11 个区域性边缘缓存 (Regional Edge Caches))的全球网络,这些接入点遍布 29 个国家/地区的 65 个城市。Amazon CloudFront 在以下地区拥有边缘站点:
边缘站点:印度班加罗尔、印度金奈(2 个)、中国香港(3 个)、印度海德拉巴(2 个)、马来西亚吉隆坡、印度孟买(2 个)、菲律宾马尼拉、印度新德里(3 个)、日本大阪、韩国首尔(4 个)、新加坡(3 个)、中国台湾台北(3 个)、日本东京(11 个)
区域性边缘缓存:印度孟买、新加坡、韩国首尔、日本东京
其他地区略
区域(边缘)缓存的工作方式
Amazon CloudFront 中国边缘站点网络
为了以低延迟向最终用户分发内容,Amazon CloudFront 中国使用由位于中国 3个城市的 3 个存在点 (Points Of Presence, POP) 组成的网络。CloudFront 当前在北京、上海和中卫有 POP,所有这些 POP 通过私有网络直接连接到由光环新网运营的 AWS 中国(北京)区域和由西云数据运营的 AWS 中国(宁夏)区域。
中国
边缘站点:北京、上海和中卫
这两个不太一样,前面那个 com/cn 的是 global 的,.cn 的那个是中国区的。两边因为没打通,所以没有列在一起。