Linux 学习之磁盘与文件系统管理

[jinhucheung]

Index

• 1. Linux的文件系统与VFS
  • 1.1 Linux支持的文件系统
  • 1.2 Linux VFS
  • 1.3 Linux的Ext2文件系统
  • 1.4 Ext2文件系统与目录树的关系
  • 1.5 日志文件系统
  • 1.6 文件系统与内存
  • 1.7 挂载点
• 2. 连接文件:ln
• 3. 查看文件系统及硬盘状况
  • 3.1 查看某文件系统的超级块
  • 3.2 查看系统内的文件系统(当前系统挂载情况)
  • 3.3 查看某文件的容量
  • 3.4 查看硬盘分区情况
  • 3.5 查看硬盘某分区的UUID
• 4. 硬盘的分区/格式化/检验与挂载
  • 4.1 硬盘的分区
  • 4.2 文件系统格式化
  • 4.3 硬盘检验
  • 4.4 硬盘挂载与卸载
  • 4.5 硬盘参数修改
  • 4.6 开机挂载
  • 4.7 特殊设备loop挂载
• 5. 内存交换空间(Swap)的构建

[jinhucheung]

1. Linux的文件系统与VFS

1.1 Linux支持的文件系统

• 目前Linux的标准文件系统是ext4,它支持1EB(=1024^6B)的最大分区以及16TB的最大文件系统容量,向下兼容ext3(增加日志功能),ext2.
• Linux常见的支持文件系统有:
  • 传统文件系统:ext2/minix/MS-DOS/FAT(Windows使用)/iso9660(光盘)等
  • 日志文件系统:ext3/ext4/ReiserFS/Windows'NTFS/IBM's JFS/SGI's XFS
  • 网络文件系统:NFS/SMBFS
• 查看自己的Linux系统支持的文件系统以及目前已加载到内存中的文件系统

ls -l /lib/modules/$(uname -r)/kernel/fs
#查看系统支持的文件系统
#$(uname -r):查看系统的内核版本号

cat /proc/filesystems 
#查看目前已加载到内存中的文件系统

1.2 Linux VFS

虚拟文件系统(Virtual FileSystem Switch,VFS),管理Liunx所支持的各种文件系统,对上提供给系统调用封装好的接口,对下调用各文件系统模块.整个VFS缩略图如下:

[jinhucheung]

1.3 Linux的Ext2文件系统

• Ext2文件系统
  • 将文件的属性(权限,所有者等)以及文件实际数据存放在不同的块中
  • 文件属性存放在inode中,一个文件对应一个inode,并记录此文件数据所用的block块号
  • 实际数据存放在block块中,一个文件可以有多个block,一个block块只能放一个文件的数据
  • 此外用superblock块来记录整个文件系统的整体信息(如inode,block总量,使用量,剩余量等,这些信息在格式化时就规划好)
  • 其是索引式文件系统,通过先访问文件的inode节点,再一次性从其所指的block中取出数据
  • 而FAT文件系统没有inode存在,每个block都记录着其下一个block号码,需依次访问block

• Ext2文件系统示意图

• 块组(block group)
  Ext2文件系统格式化时规划好多个块组,每个块组都有独立的superblock/block/inode系统,这样便于管理

• 超级块(superblock)

  • superblock记录整个文件系统相关信息,没有superblock就没有文件系统,记录的信息:
    • block与inode的总量与使用情况
    • block与inode的大小
    • 文件系统的挂载时间/最近写入数据时间等
  • 除了第一个block group含superblock外,其他的block group可以不含
  • superblock大小为1024bytes

• 超级块与启动扇区(boot sector)

  • superblock与boot sector都是占1024bytes
  • boot sector后存放superblock的信息
  • 如果一个block块>1024bytes(2k,4k)时,文件系统第一个block块存放boot sector与superblock,否则分两个block来存放

• 文件系统描述说明

  • 描述每个block group开始与结束的block号

• 块对应表(block bitmap)与inode对应表(inode bitmap)

  • 使用位示图记录block与inode的使用情况

• 数据块(data block)

  • Ext2所支持block大小有1KB,2KB,4KB,其对应的最大单一文件容量与最大文件系统容量都不同
  • block大小与数量在格式化完就不能够再改变(除非重新格式化)
  • 每个block内最多只能够放置一个文件的数据
  • 如果一个block不足以容纳一个文件,会使用多个block
  • 如文件小于block大小,则此block剩下空间不再使用(硬盘空间浪费)

• inode table

  • inode记录了文件属性及权限
  • 每个inode固定大小128bytes
  • 每个文件仅会使用一个inode
  • 文件系统能创建的文件数量与inode数量有关(在格式化时已规划好inode数量)
  • 系统读取文件时需要先查找indoe,并分析inode所记录的权限是否跟用户符合,满足才会去读取block的内容

• 数据存放区与中间数据(metadata)

  • 数据存放区:inode table与data block
  • 中间数据:super block,block bitmap,inode bitmap
  • 中间数据经常变动

• inode怎么记录block号?
  inode记录一个block号码用4bytes,为了让一个inode能记录下更多的block号,其记录block的区域分为12个直接连接,1个间接连接,1个双间接连接,1个三间接连接,inode结构图如下:

• inode能记录下多少个block,1KB的block最大单一文件容量?

  • 12个直接连接:12个block
  • 1个间接连接:以1KB的block为例,其能存放256个block(1KB/4B)
  • 1个双间接连接:256x256个block
  • 1个三间接连接:256^3个block
  • 1KB的block,一个inode能记录的block号数n=12+256+256^2+256^3,最大单一文件容量=nx1KB

[jinhucheung]

1.4 Ext2文件系统与目录树的关系

• 目录
  • Ext2会分配一个inode与至少一块的block记录目录
  • inode记录目录的相关属性与权限,还有对应的block号码
  • block记录目录下的子文件的文件名与其inode号码
• 文件
  • Ext2会分配一个inode与相对该文件大小的block数量
  • inode记录文件属性与权限,和对应的block号码
  • block记录文件的实际数据
• 系统读取某文件数据的流程
  • 例子:读取/etc/passwd中数据

kumho@kumho-Inspiron-3421:~$ ls -dil / /etc /etc/passwd
     2 drwxr-xr-x  22 root root  4096  7月 18 16:49 /
784897 drwxr-xr-x 135 root root 12288  7月 24 17:16 /etc
812534 -rw-r--r--   1 root root  1899  7月 18 21:50 /etc/passwd

1. /的inode
   通过挂载点信息找到inode为2的根目录inode,判断用户是否具有x,r权限,有则读取/的block
2. /的block
   上步骤取得block号码,并找到/etc的inode号码(784897)
3. /etc的inode
   访问/etc的inode,判断用户是否具有需要的权限,有则读取/etc的block
4. /etc的block
   找到./passwd的inode(812534)
5. /etc/passwd的inode
   访问/etc/passwd的inode,判断用户是否具有需要的权限,有则获取其block号
6. /etc/passwd的block
   从block中读取数据

[jinhucheung]

1.5 日志文件系统

日志文件系统保护了数据的完整,避免不当的操作或突发情况造成数据的损坏,可以恢复数据

写入/修改文件时的流程:

• 预备: 系统会在日志记录区记录某个文件准备要写入的信息
• 写入阶段:写入文件数据与属性,更新中间数据(inode bitmap,block bitmap,superblock等)
• 结束:在日志记录区标志此文件写入结束(如果没有此标志,数据就不完整,需要进行恢复)

1.6 文件系统与内存

Linux为了解决文件频繁写入硬盘中,效率慢,采用异步处理,将数据先加载至内存中,内存中的某块数据被用户修改后,会设置Dirty标志,系统会不定时将带Dirty标志的数据写回硬盘,用户可以用sync将内存中的数据写回硬盘(关机时,系统会自动调用sync)

1.7 挂载点

一个文件系统的最顶层目录是挂载点,可以知道挂载点一定是目录,其inode编号通常为2.

# mount /dev/sda12 /mnt/usr
# ls -dil /mnt/usr /
2 drwxr-xr-x 22 root root 4096  7月 18 16:49 /
2 drwxr-xr-x  3 root root 1024  7月 24 20:56 /mnt/usr

通常我们判断是否为同一个文件是查看其inode编号

[jinhucheung]

2. 连接文件:ln

Linux连接文件有两种,一种是硬连接(hard link),一种是类似Windows的快捷方式,称为符号连接(symbolil link),两种都使用命令ln来实现

• 硬连接
  • 使用命令 ln 源文件名 连接文件名
  • 硬连接只是在某个目录下新建一个文件名到某inode号的关联记录,不产生实际文件
  • 当我们查看源文件与硬连接文件的inode,它们是一样的
  • 被硬连接的inode节点,其连接数会+1
  • 硬连接不能跨文件系统
  • 硬连接不能连接目录
    

• 符号连接
  • 使用命令 ln -s 源文件名 连接文件名
  • 创建一个独立的文件,这文件的数据读取会指向其连接那个文件的文件名
  • 符号连接产生的文件,其容量就是被连接文件的文件名的字符数

• 关于删除文件的疑问?
  • 我们将源文件删除,硬连接仍可以读取到数据(因为指向的是inode),符号连接则不能读取数据(因为指向的是文件名)
  • 那么删除文件只是将目录下其关联记录删除吗?(我倾向Yes)
  • 那么能指定inode编号给某文件吗?(比如我将文件删除后,我知道其inode,是否可以恢复)
  • 还是说系统只会将连接数为0的inode节点对应的数据清除掉

[jinhucheung]

3. 查看文件系统及硬盘状况

3.1 查看某文件系统的超级块

• 使用命令dumpe2fs [-bh] 设备文件名
  • h 仅列出超级块信息(缺省)

3.2 查看系统内的文件系统(当前系统挂载情况)

• 使用命令df [-ahikHTml] [目录或文件名] 或使用mount -l
  • a:列出所有文件系统hl
  • h:以GB/MB/KB等格式显示文件系统容量
  • i:不用硬盘容量,而以inode数量来显示
  • l:显示本地的所有文件系统
  • 如果带目录/文件参数,则列出其所在文件系统的情况
  • 比较常用df -hl

3.3 查看某文件的容量

• 使用命令du [-ahskm] 目录/文件名
  • s:列出总量,不细致列出子文件的各占用容量
  • h:以GB/MB/KB等格式显示文件容量
  • m:以MB列出容量显示

3.4 查看硬盘分区情况

• 使用命令fdisk -l列出当前硬盘的所有分区
• fdisk也是我们创建/删除分区的命令

3.5 查看硬盘某分区的UUID

• 使用命令 blkid 设备文件名

[jinhucheung]

4. 硬盘的分区/格式化/检验与挂载

4.1 硬盘的分区

使用命令fdisk 文件设备名 比如fdisk /dev/sda 注意/dev/sda代表整块硬盘,不能使用/dev/sda1某分区

使用命令后进入fdisk程序区,相关的子命令:

• n 增加分区
• d 删除分区
• p 打印分区表
• q 不执行前面操作后退出
• w 执行前面的操作后退出

当我们新建完分区后,系统提示我们重启,让内核能重新查找分区表

当然我们可以用partprobe强制让内核查找分区表(我自己试着不行,格式化还是找不到分区),或者使用mount -o remount,rw,auto /强制让根目录重新挂载

4.2 文件系统格式化

对某分区进行格式化,主要是将文件系统的相关信息写入到分区中(不写入这些信息,系统怎么知道你这块分区是什么类型的文件系统呢)

使用命令mkfs [-t 文件系统格式] 设备文件名

如果想知道mkfs支持哪些文件系统的格式化,可以mkfs[TAB][TAB]

4.3 硬盘检验

• fsck : 检验文件系统是否出错
  • 格式: fsck [-t 文件系统] [-Aayc] 设备名称
  • 常用参数:
  • a:自动修复检查到的有问题扇区
  • y:与a类似,某些文件系统仅支持y
• badblocks : 检验硬盘扇区坏轨命令

4.4 硬盘挂载与卸载

• 硬盘挂载需注意的地方:
  • 挂载点应是空目录(首先是目录,而且空,如果不为空,挂载点目录原数据会暂时隐藏,卸载后出现)
  • 单一文件系统不应该挂载到不同目录
  • 单一目录不应该挂载多个文件系统
  • 设备需要卸载后,才能退出
  • 使用命令: mount [-t 文件系统] [-L label名] [-o 额外选项] 设备文件名 挂载点
  • 通常mount /dev/sda6 /mnt/usr这个格式就行
• 硬盘卸载
  • 命令:umount [-fn] 设备文件名/挂载点 f强制卸载
• 重新挂载根目录
  • 命令:mount -o remount,rw,auto /
• 挂载目录到另一个目录(做目录的硬连接)
  • 命令:mount --bind /dir1 /dir2 dir1与dir2的inode相同

4.5 硬盘参数修改

• mknod 设置不同类型设备文件
  • 格式 mknod 设备文件名 [bcp] [Major] [Minor]
  • 参数:
  • b 设置设备文件为一个外部存储文件,如硬盘等
  • c 设置设备文件为一个外部输入文件,如鼠标/键盘等
  • p 设置设备文件为管道
  • Major 主设备代码
  • Minor 次设备代码
  • 主设备与次设备代码决定一个设备文件
• e2label 设置设备文件的卷标名
  • 格式: e2label 设备文件名 卷标名
• hdparm 测试性能
  • 使用命令hdparm -Tt 设备文件

4.6 开机挂载

开机挂载需要将挂载条目添加至/etc/fstab文件中,之后使用mount -a进行测试(按着/etc/fstab重新挂载)

4.7 特殊设备loop挂载

• 挂载镜像文件
  使用命令:mount -o loop 镜像文件名 挂载点
  挂载好后,就可以直接从挂载点访问到镜像文件中的数据
• 使用大容量文件作为分区挂载
  • 新建大容量文件(大约等同于新建分区操作)
  • 使用命令: dd if=/dev/zero of=文件名 bs=块大小 count=块数量
  • 例如:dd if=/dev/zero of=/home/loopdev bs=1M count=512
    • if 输入文件,/dev/zero一直输出00
    • of 输出文件,将数据00写入of中
    • 文件大小=块大小x块数据,这里=512M
  • 格式化文件
  • 上例 mount -t ext3 /home/loopdev
  • 挂载
  • 上例 mount -o loop /home/loopdev 挂载点

[jinhucheung]

5. 内存交换空间(Swap)的构建

Swap:系统物理内存不足时,将数据移到Swap空间

Swap构建分以下两种方式

• 创建一个分区来构建Swap
• 创建一个大容量文件来构建Swap

构建Swap的步骤:

1. 创建分区/文件: 创建分区使用fdisk,创建大容量文件使用上节的命令dd if=/dev/zero of=文件名 bs=块大小 count=块数量
2. 格式化 : 使用mkswap 文件名
3. 加载/卸载 : 加载文件使用swapon 文件名 卸载文件使用swapoff 文件名
4. 查看:使用free查看内存使用情况