［試して理解］Linuxのしくみ ―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版

[hayashi-ay]

https://www.amazon.co.jp/dp/429713148X

[hayashi-ay]

https://github.com/satoru-takeuchi/linux-in-practice-2nd

[hayashi-ay]

第1章 Linuxの概要

知ったこと

• CPUにはユーザーモードとカーネルモードがある。
• プロセスがシステムコールを発行することでユーザーモードからカーネルモードになる。
• straceコマンドでプロセスが発行したシステムコール一覧を見ることができる。
• sarコマンドでCPUの使用率が見れる。-Pオプションをつけることで指定した論理CPUの統計情報が見れる。
• tasksetコマンドでどのCPUでプログラムを実行するかを指定できる。
• lddコマンドでプログラムに紐付けられている共有ライブラリを表示できる。
• ld-linux-x86-64.so.2 共有ライブラリをロードするための特別なライブラリ。
• Go言語は基本的にライブラリを静的にリンクしている。動的リンクに比べて実行ファイルのサイズは大きくなるが起動が早くなったり、DLL地獄の問題を回避できるなどの利点がある。

  実験

  C, Go, pythonでそれぞれ"hello world\n"という文字列を出力するプログラムを実行してシステムコールの発行数を調べたところ、31, 183, 724だった。 Cのプログラムについて-staticオプションを付けて静的リンクしたとこと12まで減った。動的リンクだとロードしてくるのにシステムコールの発行がされている。

[hayashi-ay]

第2章 プロセス管理（基礎編）

知ったこと

• Linuxの実行ファイルはELF(Executable and Linking Format)になっている。
• ELFの各種情報はreadelfコマンドによって得られる。
• Linuxカーネルが持つプログラムを実行するたびに各セクションを異なるアドレスにマップする機能のことをASLR(Address Space Layout Randomization)と呼ぶ。
• このセキュリティ機能のおかげでコードやデータが特定のアドレスにあることを前提とした攻撃が困難になる。
• ASLRに対応しているプログラムのことをPIE(Position Independent Executable)と呼ぶ。
• gccはデフォルトではすべてのプログラムをPIEとしてビルドするが-no-pieオプションをつけることで無効化できる。
• pstreeコマンドはプロセスの親子関係を木構造で表示してくれる。
• セッション、プロセスグループについて。ps aux | lessのようにbashでパイプを使ってプロセスを生成したプロセスは同じプロセスグループに属する。図02-08 が分かりやすい。
• 制御端末の切断時にはSIGHUPが送られるが、デーモンについては制御端末を持たないので慣習的に設定ファイルの読み直しのシグナルとして用いられている。

[hayashi-ay]

第3章 プロセススケジューラー

知ったこと

• スケジューラーは実行可能な複数のプロセスに、タイムスライスという単位で順番にCPUを使わせる。
• 現在のLinuxスケジューラーはレイテンシーターゲットと呼ばれる期間に一度タイムスライスが割り当てられるようになっている。
• レイテンシーターゲットはkernel.ched_latency_nsパラメータで設定されている。
• Linuxカーネル2.6.23以前のスケジューラーはタイムスライスは100ミリ秒で固定だった。プロセス数が増えると各プロセスになかなかタイムスライスが割り当てられないという問題があった。

実験

• タイムスライスの可視化

1つの論理CPU上で同時に動かすプロセス数を1, 2, 3と増やしていき、それぞれの場合についてタスクの進捗率と経過時間の2軸のグラフを作成した。 1つの論理CPU上で同時に動かけるプロセスは1つだけということが視覚的にも分かる。tasksetで論理CPU0を使うように指定している。 並列度が2のときと比べて3のときの方が各プロセスのタイムスライスは短くなる。タスクの実行順序が入れ替わったり、緑->黄->緑->青みたいになっているところがある。

kernel.ched_latency_nsパラメータについて手元で試したら設定されていなかった。

$  sysctl kernel.sched_latency_ns
sysctl: cannot stat /proc/sys/kernel/sched_latency_ns: No such file or directory

• 全論理CPUを使用したときの平均ターンアラウンドタイムとスループット

解釈がよく分からない。Gitpod上で検証していて他のプロセスも動いているため、雑音が多いのかもしれない。タスク的にはメモリアクセスは行わない、整数演算ユニットのみを使うのでSMTの効果はなくむしろ逆効果のはず。

論理CPU数は16でSMT(Simultaneous Multi Threading)が有効になっている。 Gitpod上だと当該ファイルがreadonly file systemにmountされていてSMTをoffにできなかった。

$ grep -c processor /proc/cpuinfo
16
$ cat /sys/devices/system/cpu/smt/control 
on

参考

• [試して理解] Linuxのプロセススケジューラのしくみ

[hayashi-ay]

第4章 メモリ管理システム

知ったこと

• 仮想記憶とはデバイスのメモリに直接アクセスさせるのではなく仮想アドレスというアドレスを用いて間接的にアクセスさせる機能。
• 仮想アドレスに対してシステムに搭載されているメモリの実際のアドレスを物理アドレスと呼ぶ。
• 仮想アドレスから物理アドレスへの変換にはカーネルのメモリ内に保存されているページテーブルという表を用いる。
• ページテーブルの中の1つのページに対応するデータをページエントリと呼ぶ。
• mmapシステムコールが呼ばれた後ページエントリは生成するが物理メモリへの割当は実際に当該ページにアクセスしたタイミングで行うことをデマンドページングと呼ぶ。
• ページテーブルはメモリ使用量を削減するために階層化されている。ただ仮想メモリの使用量が増えてくると階層型の方がページテーブルのメモリ使用量が増える。
• ヒュージページという仕組みによりページテーブルエントリの数を減らすことができる。ヒュージページとは通常よりサイズが大きなページのこと。
• 必要に応じてヒュージページを獲得してくれる仕組みをトランスペアレントヒュージページと呼ぶ。

実験

Ubuntuのデフォルトではトランスペアレントヒュージページの設定はmadviseになっている。

$ cat /sys/kernel/mm/transparent_hugepage/enabled 
always [madvise] never

[hayashi-ay]

第5章 プロセス管理（応用編）

知ったこと

• コピーオンライト(fork関数)
• デマンドページング(execve関数)
• 共有メモリ、複数のプロセスに同じメモリ領域をマップすること。
• スレッドの実現方法はカーネル空間で実現するカーネルスレッド、ユーザー空間で実現するユーザースレッドの大きく2つがある。

[hayashi-ay]

第6章 デバイスアクセス

知ったこと

• プロセスはデバイスには直接アクセスできずデバイスファイルを操作することでカーネルにデバイスへのアクセスを代行してもらう。
• キャラクタデバイス、読み出しと書き込みが可能、シークは不可能。
• ブロックデバイス、読み出し、書き込み、シークが可能。
• ループデバイス、ファイルをデバイスファイルのように扱える機能。
• デバイスを直接操作するには各デバイスに内蔵されているレジスタという領域を読み書きする。
• メモリマップトI/O（MMIO）、仮想アドレス空間にデバイスのレジスタもマップすること。

[hayashi-ay]

第7章 ファイルシステム

知ったこと

• ストレージデバイスにはデバイスファイルを操作することでアクセスできるが一般的にはファイルシステムを介してアクセスする。
• メモリマップトファイル、ファイルのデータを仮想アドレス空間上にマップする機能。
• ファイルシステムには容量制限や整合性保持などの機能がある。
• 整合性保持はジャーナリング（ext4, XFS）やコピーオンライト（Btrfs）などの方法がある。
• RAID(Redundant Array of Independent Disk)、複数のHDDをひとつのドライブとして認識させる技術。
• RAID1 （ミラーリング）、同じデータを2ほんのハードディスクに書き込むことで耐障害性を高めた構成。
• tmpfs, procfs, sysfsなどのファイルシステムがある。

実験

• Gitpod上のファイルシステム /sysや/proc/sysがreadonlyでmountされているので、Gitpod上でカーネルの値を書き換えたりができなくて実験するのに不都合。

$ mount
...
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
...
proc on /proc/sys type proc (ro,relatime)

[hayashi-ay]

第8章 記憶階層

知ったこと

• （容量少、アクセス速度早い）レジスタ、キャッシュメモリ、メモリ、ストレージデバイス（容量多、アクセス速度遅い）
• メモリへの書き込み方式はライトスルー方式とライトバック方式の2種類ある。
• ライトスルー方式、データをキャッシュメモリに書き込む際にメモリにも一緒に書き込む。
• ライトバック方式、データをキャッシュメモリに書き込んだ際とは別にメモリに後ほど書き込む。
• キャッシュライン、キャッシュメモリの最小の単位。サイズはCPUごとに決まっている。ページテーブルのページエントリ的なイメージ。
• スラッシング、キャッシュライン内のデータが激しく入れ替わること。キャッシュメモリがいっぱいになっている状態でキャッシュに入っていない領域へのメモリアクセスが頻発する際に起こる。
• 階層型キャッシュメモリ、キャッシュメモリが階層化されている。L1キャッシュ、L2キャッシュなどの名前がついている。LはLevel。
• SMT(Simultaneous Multi Threading), CPUの計算リソースの空きを有効活用する機能。メモリやキャッシュメモリからのデータ転送待ちや整数演算処理中に浮動小数点演算ユニットが空いてしまうなどによって生じる。
• ページキャッシュ、ファイルのデータをメモリにキャッシュする。ページと呼ばれる単位でデータを扱う。
• バッファキャッシュ、ディスクのデータのうち、ファイルデータ以外のものをキャッシュする仕組み。
• スワップ、ストレージデバイスの一部を一時的にメモリの代わりとして使う仕組み。物理メモリが枯渇した際にメモリをストレージデバイスに退避する。
• ページアウト、メモリをスワップ領域に書き出すこと。
• ページイン、スワップ領域からメモリに読み出すこと。

• ページフォールトのうち、ページインによってストレージデバイスへのアクセスが発生したものをメジャーフォールト、それ以外をマイナーフォールトと呼ぶ。

  実験

• キャッシュメモリへのアクセス速度

L1キャッシュ32(2^5)K, L2キャッシュ512(2^9)K, L3キャッシュ32768(2^15)K。

各キャッシュの上限を境界として階段状に変化することを期待したがいまいち期待通りにならなかった。特にL1キャッシュの境界についてアクセス速度が下がらなかった。バッファサイズが小さい際にはメモリへのアクセスに対して変数のインクリメントなどの命令のコストが無視できなく、バッファサイズが増えることによりそれらが相対的に小さくなりアクセス速度が向上する効果とL2キャッシュに切り替わることによるアクセス速度の低下が打ち消し合って境界ではっきりと階段上にならなかったのではと推測。

$ cat /sys/devices/system/cpu/cpu0/cache/index1/size # L1キャッシュ
32K
$ cat /sys/devices/system/cpu/cpu0/cache/index2/size #L2キャッシュ
512K
$ cat /sys/devices/system/cpu/cpu0/cache/index3/size #L3キャッシュ
32768K

• ページキャッシュの効果 2回目の実行はストレージデバイスではなくメモリ上にあるページキャッシュにアクセスするので早い。

dd if=/dev/zero of=testfile oflag=sync bs=1G count=1
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 4.89322 s, 219 MB/s
$ dd if=/dev/zero of=testfile  bs=1G count=1
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.02759 s, 1.0 GB/s

[hayashi-ay]

第9章 ブロック層

知ったこと

• ブロック層、ブロックデバイス（ストレージデバイス）の性能を引き出すためのカーネルの機能。
• HDD、データを磁気情報で表現して、それをプラッタと呼ばれる磁気ディスクに記憶するストレージデバイス。
• HDDへのアクセスに掛かる時間のほとんどがスイングアームの移動やプラッタの回転などの機械的処理に費やされる。いかにこれらを減らすことができるかに性能向上の鍵。
• ブロック層の基本機能は、I/Oスケジューラー、readahead（先読み）などがある。
• I/Oスケジューラー、ブロックデバイスへのアクセス要求を一定期間ためておいて、マージやソートなどの最適化処理を行いデバイスドライバにI/O要求を行う。
• readahead、ブロックデバイス内のある領域を読みだした時に後続領域を先読みしてページキャッシュに保存しておく機能。空間的局所性を利用している。
• SSD、データをフラッシュメモリに保存する。HDDのような機械的な動作が必要なく電気的な動作だけで住むのでHDDより高速にアクセスできる。

[hayashi-ay]

第10章 仮想化機能

知ったこと

• KVM(Kernel-based Virtual Machine)、Linuxカーネルが提供する仮想化機能。
• QEMU(Quick EMUlator)、CPUおよびハードウェアのエミュレータ。
• virt-manager、仮想マシン管理ソフトウェア。仮想マシンの生成、管理、破棄をする。
• VMX-root/VMX-nonroot、それぞれ物理マシンの処理をしているときのモード、仮想マシンの処理をしているときのモード。
• 仮想マシンの中の各VCPUは仮想マシンに対応するqemu-system-x86プロセスのカーネルスレッドとして表される。

• 準仮想化、仮想マシンによってハードウェアを完全にエミュレートするのではなく、ハイパーバイザとゲストOSの連携で性能改善を図るタイプの仮想化技術。疑似仮想化とも呼ばれる。

  実験

  物理マシンに直接Ubuntuをインストールしないと検証できなさそうで断念。

[hayashi-ay]

第11章 コンテナ

知ったこと

• namespace、システムに存在する様々な種類のリソースについて存在し、所属するプロセスに見かけ上独立したリソースを見せる機能。

[hayashi-ay]

第12章 cgroup

知ったこと

• cgroup、システムのメモリやCPUなどのリソースをどのプロセスにどれだけ与えるかを成業するための機能。

[hayashi-ay]

面白かったです。システムコールを呼んだ後のことはあまり分かっていなかったのですが図も豊富にあり理解が深まりました。