moooofly / MarkSomethingDownLLS

本仓库用于记录自 2017年10月16日起,在英语流利说任职期间的各方面知识汇总(以下内容不足以体现全部,一些敏感内容已移除)~
MIT License
72 stars 37 forks source link

CloudFront 相关 #68

Open moooofly opened 5 years ago

moooofly commented 5 years ago
moooofly commented 5 years ago

ref: https://wzyboy.im/post/1111.html

除了 Filebeat,另外值得一提的是社区实现 Cloudfrontbeat。由于我的博客前置了 CloudFront 作为加速和缓存,因此 Nginx 日志中的信息并不完整,而 Cloudfrontbeat 则可以用来解析并上传 CloudFront 边缘节点的日志。

Cloudfrontbeat 的原理是:

此外 Cloudfrontbeat 提供了 backfill 模式,可以遍历指定日期范围内已经存在于 S3 内的日志文件,将其信息灌进 SQS,然后再切换成正常的 worker 模式跑起来,就能把旧日志也灌进 ES 了。

Cloudfrontbeat 作者提供了一个 CloudFormation,可以一键把 S3 + SQS 配置好。

moooofly commented 5 years ago

Amazon CloudFront 主要功能

Amazon CloudFront 基础设施

Amazon CloudFront 全球边缘网络

​为了以更低的延迟向最终用户提供内容,Amazon CloudFront 使用了一个包含 166 个接入点(155 个边缘站点 (Edge Locations)和 11 个区域性边缘缓存 (Regional Edge Caches))的全球网络,这些接入点遍布 29 个国家/地区的 65 个城市。Amazon CloudFront 在以下地区拥有边缘站点:

image

亚洲

边缘站点:​印度班加罗尔、印度金奈(2 个)、中国香港(3 个)、印度海德拉巴(2 个)、马来西亚吉隆坡、印度孟买(2 个)、菲律宾马尼拉、印度新德里(3 个)、日本大阪、韩国首尔(4 个)、新加坡(3 个)、中国台湾台北(3 个)、日本东京(11 个)​

区域性边缘缓存:​印度孟买、新加坡、韩国首尔、日本东京​

其他地区略

image

image

image

Q&A

在 cloudfront 的概念中,边缘站点 和 区域性边缘缓存 是什么意思和区别?

https://blog.csdn.net/m0_37204491/article/details/79387059

image

image

区域(边缘)缓存的工作方式

  1. 区域边缘缓存是全球范围内部署的 CloudFront 位置,与查看器隔得很近。这些位置介于源服务器(源站)和全球边缘站点之间(相当于二级缓存),直接为查看器提供流量。当您的对象的受欢迎程度降低时,各个边缘站点可能会移出这些对象以便为更受欢迎的内容腾出空间。区域边缘缓存具有比任何单个边缘站点更大的缓存宽度,因此,您的对象将在最近的区域边缘缓存位置的缓存中保留更长时间。这有助于使您的更多内容更接近查看器,并减小 CloudFront 返回源服务器的需求,同时提高查看器的总体性能。
  2. 当查看器通过您的网站或应用程序发出请求时,DNS 会将请求路由到能以最佳方式满足用户请求的 CloudFront 边缘站点。就延迟而言,此位置通常是最近的 CloudFront 边缘站点。在边缘站点中,CloudFront 会检查其缓存中是否存在所请求的文件。如果这些文件在缓存中,CloudFront 会将它们发回给用户。如果文件不在缓存中,边缘服务器将转到最近的区域边缘缓存以提取对象。在区域边缘缓存位置中,CloudFront 将再次检查其缓存中是否有请求的文件。如果文件在缓存中,则 CloudFront 会将文件转发到请求的边缘站点。区域边缘缓存位置的第一个字节到达后,CloudFront 就开始将文件转发到用户。CloudFront 还将文件添加到请求的边缘站点上的缓存中,方便下次有人请求这些文件。
  3. 对于未在边缘站点和区域边缘缓存位置缓存的文件,CloudFront 将请求与分配中的说明进行比较,并将文件请求转发到适用的源服务器。一旦源服务器将文件发送回区域边缘缓存位置,这些文件就会转发到请求的边缘站点,并且 CloudFront 会将文件转发给用户。在这种情况下,CloudFront 还会将文件添加到区域边缘缓存位置中的缓存以及边缘站点中,方便查看器下次请求这些文件。现在,区域中的所有边缘站点都共享本地缓存,从而消除了针对源服务器的多个请求。此外,CloudFront 将保留与源服务器的持久性连接,以便尽快从源服务器提取文件。

签名 URL 或签名 Cookie + 令牌身份验证

Amazon CloudFront 主要功能

Amazon CloudFront 基础设施

Amazon CloudFront 中国边缘站点网络

为了以低延迟向最终用户分发内容,Amazon CloudFront 中国使用由位于中国 3个城市的 3 个存在点 (Points Of Presence, POP) 组成的网络。CloudFront 当前在北京上海中卫有 POP,所有这些 POP 通过私有网络直接连接到由光环新网运营的 AWS 中国(北京)区域和由西云数据运营的 AWS 中国(宁夏)区域。

image

中国

边缘站点:北京、上海和中卫

image

moooofly commented 5 years ago

这两个不太一样,前面那个 com/cn 的是 global 的,.cn 的那个是中国区的。两边因为没打通,所以没有列在一起。