search

google / fleetbench

Benchmarking suite for Google workloads
Apache License 2.0
111 stars 9 forks source link

compression_benchmark corpus generation not consistent #12

Closed timothy-hayes closed 1 year ago

timothy-hayes commented 1 year ago 
GLIBC_TUNABLES=glibc.pthread.rseq=0 ./bazelisk-v1.17 run --config=clang --config=opt --copt=-mcpu=neoverse-v1 --copt=-mtune=neoverse-v1 fleetbench/compression:compression_benchmark -- --benchmark_min_time=60s --benchmark_filter="BM_Snappy-COMPRESS-L|BM_Snappy-DECOMPRESS-L"

I'm running fleetbench v2.1 on two similar systems. The generated corpus is different and this is affecting the execution time. This makes it difficult to compare the performance of the two systems. Is there some parameter to ensure the corpus is the same?

ls -alh machine1 ```shell $ ls -alh /home/ubuntu/.cache/bazel/_bazel_ubuntu/5f241f2ce88852e31cc5854c84122669/execroot/com_google_fleetbench/bazel-out/aarch64-opt-clang/bin/fleetbench/compression/corpora/Snappy-DECOMPRESS-L/ total 12M drwxrwxr-x 2 ubuntu ubuntu 4.0K Jul 24 08:19 . drwxrwxr-x 41 ubuntu ubuntu 4.0K Jul 24 08:15 .. -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_0 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_1 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_10 -r-xr-xr-x 1 ubuntu ubuntu 2.0M Jul 24 08:17 corpus_11 -r-xr-xr-x 1 ubuntu ubuntu 128 Jul 24 08:17 corpus_12 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_13 -r-xr-xr-x 1 ubuntu ubuntu 2.0K Jul 24 08:17 corpus_14 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_15 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_16 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_17 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_18 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_19 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_2 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_20 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_21 -r-xr-xr-x 1 ubuntu ubuntu 2.0K Jul 24 08:17 corpus_22 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_23 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_24 -r-xr-xr-x 1 ubuntu ubuntu 512 Jul 24 08:17 corpus_25 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_26 -r-xr-xr-x 1 ubuntu ubuntu 1.0M Jul 24 08:17 corpus_27 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_28 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_29 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_3 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_30 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_31 -r-xr-xr-x 1 ubuntu ubuntu 16K Jul 24 08:17 corpus_32 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_33 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_34 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_35 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_36 -r-xr-xr-x 1 ubuntu ubuntu 256 Jul 24 08:17 corpus_37 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_38 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_39 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_4 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_40 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_41 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_42 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_43 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_44 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_45 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_46 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_47 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_48 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_49 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_5 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_50 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_51 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_52 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_53 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_54 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_55 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_56 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_57 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_58 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_59 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_6 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_60 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_61 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_62 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_63 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_64 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_65 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_66 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_67 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_68 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_69 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_7 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_70 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_71 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_72 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_73 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_74 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_75 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_76 -r-xr-xr-x 1 ubuntu ubuntu 16K Jul 24 08:17 corpus_77 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_78 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_79 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_8 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_80 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_81 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_82 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_83 -r-xr-xr-x 1 ubuntu ubuntu 1.0M Jul 24 08:17 corpus_84 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_85 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_86 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_87 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_88 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_89 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_9 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_90 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_91 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_92 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_93 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_94 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_95 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_96 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_97 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_98 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_99 ```
ls -alh machine2 ```shell ls -alh /home/ubuntu/.cache/bazel/_bazel_ubuntu/5f241f2ce88852e31cc5854c84122669/execroot/com_google_fleetbench/bazel-out/aarch64-opt-clang/bin/fleetbench/compression/corpora/Snappy-DECOMPRESS-L/ total 15M drwxrwxr-x 2 ubuntu ubuntu 4.0K Jul 24 08:19 . drwxrwxr-x 41 ubuntu ubuntu 4.0K Jul 24 08:16 .. -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_0 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_1 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_10 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_11 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_12 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_13 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_14 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_15 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_16 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_17 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_18 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_19 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_2 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_20 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_21 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_22 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_23 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_24 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_25 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_26 -r-xr-xr-x 1 ubuntu ubuntu 16K Jul 24 08:17 corpus_27 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_28 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_29 -r-xr-xr-x 1 ubuntu ubuntu 1.0M Jul 24 08:17 corpus_3 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_30 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_31 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_32 -r-xr-xr-x 1 ubuntu ubuntu 1.0K Jul 24 08:17 corpus_33 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_34 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_35 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_36 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_37 -r-xr-xr-x 1 ubuntu ubuntu 2.0M Jul 24 08:17 corpus_38 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_39 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_4 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_40 -r-xr-xr-x 1 ubuntu ubuntu 2.0M Jul 24 08:17 corpus_41 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_42 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_43 -r-xr-xr-x 1 ubuntu ubuntu 256 Jul 24 08:17 corpus_44 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_45 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_46 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_47 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_48 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_49 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_5 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_50 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_51 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_52 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_53 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_54 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_55 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_56 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_57 -r-xr-xr-x 1 ubuntu ubuntu 64 Jul 24 08:17 corpus_58 -r-xr-xr-x 1 ubuntu ubuntu 256 Jul 24 08:17 corpus_59 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_6 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_60 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_61 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_62 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_63 -r-xr-xr-x 1 ubuntu ubuntu 2.0K Jul 24 08:17 corpus_64 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_65 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_66 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_67 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_68 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_69 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_7 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_70 -r-xr-xr-x 1 ubuntu ubuntu 4.0K Jul 24 08:17 corpus_71 -r-xr-xr-x 1 ubuntu ubuntu 256 Jul 24 08:17 corpus_72 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_73 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_74 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_75 -r-xr-xr-x 1 ubuntu ubuntu 2.0K Jul 24 08:17 corpus_76 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_77 -r-xr-xr-x 1 ubuntu ubuntu 1.0M Jul 24 08:17 corpus_78 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_79 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_8 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_80 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_81 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_82 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_83 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_84 -r-xr-xr-x 1 ubuntu ubuntu 128 Jul 24 08:17 corpus_85 -r-xr-xr-x 1 ubuntu ubuntu 256K Jul 24 08:17 corpus_86 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_87 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_88 -r-xr-xr-x 1 ubuntu ubuntu 8 Jul 24 08:17 corpus_89 -r-xr-xr-x 1 ubuntu ubuntu 64K Jul 24 08:17 corpus_9 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_90 -r-xr-xr-x 1 ubuntu ubuntu 128K Jul 24 08:17 corpus_91 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_92 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_93 -r-xr-xr-x 1 ubuntu ubuntu 8.0K Jul 24 08:17 corpus_94 -r-xr-xr-x 1 ubuntu ubuntu 32K Jul 24 08:17 corpus_95 -r-xr-xr-x 1 ubuntu ubuntu 16 Jul 24 08:17 corpus_96 -r-xr-xr-x 1 ubuntu ubuntu 512K Jul 24 08:17 corpus_97 -r-xr-xr-x 1 ubuntu ubuntu 1.0M Jul 24 08:17 corpus_98 -r-xr-xr-x 1 ubuntu ubuntu 32 Jul 24 08:17 corpus_99 ```
rjogrady commented 1 year ago

Thanks for mentioning it. I've just merged commit 13d4957 which should address this.

timothy-hayes commented 1 year ago

That works better now, thank you.