Backup S3 bucket, and logs

[uniray7]

Survey the way for these 3 different kinds of data first. it should be considered that we put the backup into another data warehouse instead of AWS.

http://www.ithome.com.tw/news/88797 said that the company's data was kidnapped because their AWS key was stolen. Their data and backup all in aws are over

[uniray7]

之前 @weitingchou 你提到的 aws elastic filesystem (EFS) 他不適合我們現在拿來當backup 也不適合取代S3的原因如下:

• EFS 這service還沒再tokyo這region activate
• 比S3貴約十倍
• EFS跟S3產品定位不太一樣, EFS像是network file system, 可以給在同一個region(如Oregon)底下所有ec2 共同share的file sys,可以給ec2 attach; 而 s3事像obj store, 不是file sys

[uniray7]

比較aws 提供的各個storage service:

• S3, 底下還有分幾種storage class
  • standard:
  • 保證durability和availibility達到 99.999999%
  • Infrequent access:
  • 專門存較少access的資料, durability和availibility與standard依樣
  • latency也跟standard依樣
  • 存放成本較standard略低
  • 但request成本較standard略高
  • Glacier:
  • 專門存放long-term,近期不會用到,但可能未來會有需要的資料
  • 最便宜
  • 要read back大約要3~ 4小時
  • read back價錢要注意一下
  • ref:
  • 價目表: https://aws.amazon.com/s3/pricing/
• EFS:
  • 上面的S3 是obj store, 而EFS是可以給同一個region底下的所有vm共同sharer存取的
  • tokyo目前還沒有提供這service
  • 大概比S3貴十倍

[uniray7]

最後定案的backup strategy 是在新加坡開一個backup bucket enable這bucket versioning

然後再用aws cli 來sync production 和backup bucket sync完成後 再設定production bucket 的cross region replication到backup bucket

會採用這個strategy的原因:

• 基本上aws算是滿穩定的, 但為了避免東京的data center出事的話, 還有singapore可以補救
• 雖然post的圖片資料不會很常被modified, 但因為enable versioning不會加錢, 除非是你modify太多次, 一個key指向多個version的obj, 這樣storage price會才會增加
• 至於需不需要定期archive production bucket的資料, 目前有cross region replication先擋著, 等之後再討論,