ysh329
commented
4 years ago Tuning for specific SoC's GPU
针对某个具体型号的GPU进行调优后，文档中说一般来说可以得到1~10%的性能提升。调优使用--tune选项执行，发现cmake的高级使用里有这一项，但是bazel的对应小节没有，感觉bazel对应的Tuning for specific SoC's GPU小节，是不是写的有问题，后接的是validate参数，看起来只是与tensorflow验证结果正确性，并没有做tuning且bazel log中显示* Run 'mobilenet_v1' with round=1, restart_round=1, tuning=False。
感觉还是CMake的tuning文档靠谱，因而执行下面bazel命令。
set -e
yml_path=$1
echo "###########################################"
echo "yml_path:${yml_path}"
echo "###########################################"
sleep 1
##############
# bazel convert
##############
bazel clean --expunge
python tools/converter.py convert --config=${yml_path}
##############
# bazel tune
##############
python tools/converter.py \
run \
--config=${yml_path} \
--target_socs="msmnile,sdm845,msm8998,msm8953" \
--vlog_level=0 \
--round=100多说一点，在执行过程中无论是bazel还是CMake都会出现执行命令失败的情况，因为执行过程会提示CMD显示执行的ADB命令，照着执行发现是手机上缺少模型的pb和data文件，挨个手动adb push后再次执行就好了
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
该命令执行结束后，会在对应的build/mobilenet_v1/opencl目录下得到OpenCL调优结果的参数。
└── mobilenet_v1_tuned_opencl_parameter.MIX2S.sdm845.bin参数中包含你的测试模型以及SOC信息，在之后部署到生产环境时加载该文件可以得到调优带来的性能增益。后面的部署略过，具体见文档，重点是想看一下这里调优哪些参数，又是怎么做的1~10%的收益。
导读：MACE是小米的端测深度学习推理框架，支持arm cpu、adreno gpu、mali gpu，比较有特色的是gpu（opencl）和对高通dsp方面的支持。最近发布了release v0.13.0版，跟进tflite，也低调地支持了tinyML，下面来自release的一段节选。
有点跑题了，从mace的文档可以学到不少东西，其中在Advanced usage for Bazel users或者Advanced usage for CMake users章节，有一小节写的是Tuning for specific SoC's GPU，来看看他们是怎么做的。