Closed kyakuno closed 1 year ago
RTX3080 + cudnnにおけるbatch_size=512の推論時間
torch full : 2156ms 219ms 218ms torch tiny : 1833ms 121ms 125ms
ailia SDK 1.2.15 + cudnnにおけるbatch_size=512の推論時間
ailia full : 2423ms 125ms 124ms
cuDNNでcrepeが遅く見えるのはbatch_sizeが変化してインスタンスの再確保が発生するための模様。
exportコード
global onnx_export
if onnx_export:
torch.onnx.export(infer.model, frames, 'crepe_tiny.onnx', verbose=True, opset_version=11,
input_names=["input"],
output_names=["output"],
dynamic_axes={
'input': {0: 'n'}
},
)
onnx_export = False
macOS MPS
tiny : 586ms 466ms 475ms full : 4570ms 4357ms 4348ms
RVC Clientの方はcrepe_tinyに対応している。 https://github.com/w-okada/voice-changer/blob/master/tutorials/tutorial_rvc_ja_latest.md
crepeにはtinyモデルもあるようなのでエクスポートしてみる。 https://github.com/maxrmorrison/torchcrepe