directory scanの性能を調べる

[yumetodo]

https://github.com/yumetodo/suminoe_file_server/commits/test/dir_scan/1/ 294c11bec470175dacfc37c6066f6f472b9e1531 で確認

対象サーバーでの対象dir宛の実行結果

real    4m48.628s
user    0m0.537s
sys     0m5.511s

[yumetodo]

d929f6394b243193e28d3d287dfc999e5e336295 で詳細分析

scan: 17.72236936
serialize: 0.7679444

real    0m17.167s
user    0m0.271s
sys     0m1.752s

scan: 17.607301837
serialize: 0.7796752

real    0m17.730s
user    0m0.288s
sys     0m1.785s

scan: 1.361696797
serialize: 0.7732423

real    0m1.477s
user    0m0.175s
sys     0m1.123s

scan: 1.266901630
serialize: 0.7680533

real    0m1.405s
user    0m0.215s
sys     0m1.069s

[yumetodo]

すこし間をあけて

scan: 81.293809005
serialize: 0.7855668

real    1m21.404s
user    0m0.302s
sys     0m2.352s

scan: 1.761710627
serialize: 0.7751675

real    0m1.856s
user    0m0.164s
sys     0m1.135s

scan: 4.965189439
serialize: 0.7680494

real    0m5.086s
user    0m0.165s
sys     0m1.154s

scan: 1.284208519
serialize: 0.7734706

real    0m1.307s
user    0m0.213s
sys     0m1.086s

scan: 1.270931462
serialize: 0.7791521

real    0m1.295s
user    0m0.190s
sys     0m1.098s

scan: 1.276687283
serialize: 0.7724869

real    0m1.300s
user    0m0.225s
sys     0m1.068s

[yumetodo]

対象としているdiskは4TB HDD 4台をRAID-6している領域である。

bottom -bコマンドで監視しながら実行してみた。

scan: 47.811473994
serialize: 0.7862772

real    0m47.835s
user    0m0.279s
sys     0m1.390s

このときは3MB/sくらいのreadが /dev/dm-9 に発生していた

scan: 5.260933840
serialize: 0.7691785

real    0m5.285s
user    0m0.215s
sys     0m1.106s

直後のこちらでは148KB/sくらいが最高だった。

目視なので誤差はあるが。

なお計測時前後ではread/writeは発生していなかったので独立事象だと思われる