KTurnura / paper-notes

2 stars 0 forks source link

The Google File System #6

Open KTurnura opened 1 year ago

KTurnura commented 1 year ago

GFS是Google为其内部应用设计的分布式存储系统。Google可能是这个星球上最大的数据工厂了。如何高效可靠地存储如此大规模的数据成为一个很棘手的问题。纵观Google的内部应用,数据访问有以下特点:

  1. 数据集庞大,数据总量和单个文件都比较大,如应用常常产生数GB大小的单个文件;
  2. 数据访问特点多为顺序访问,比较常见的场景是数据分析,应用程序会顺序遍历数据文件,产生顺序读行为;
  3. 多客户端并发追加场景很常见,极少有随机写行为;
  4. 一次写入,多次读取,例如互联网上的网页存储。 GFS是Google针对其数据访问模式而设计的分布式存储系统。