whisper模型初始化遇到两个问题。

[wuxianliang]

我在加载本地whisper模型的时候遇到两个问题： src/byzerllm/whisper/init.py

1. load_model("large",model_dir)报错。 我参考了whisper项目的issue里的修改意见，在model_dir前面加上了dowload_root =。

   92:  model = whisper.load_model("large",download_root = model_dir)
   96:  model.get_meta = types.MethodType(get_meta, model)

2. 在第96行调用get_meta时，报错。不知道怎么修复。注释掉96行，模型可以加载成功，但是/voice_input调用的时候报错。

   File "/home/wxl/anaconda3/envs/autocoder/lib/python3.10/site-packages/byzerllm/whisper/__init__.py", line 14, in get_meta
   config = self.config
   File "/home/wxl/anaconda3/envs/autocoder/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1729, in __getattr__
   raise AttributeError(f"'{type(self).__name__}' object has no attribute '{name}'")
   AttributeError: 'Whisper' object has no attribute 'config'

[allwefantasy]

Ok, 我晚点发一个版本fix 下。发完我通过close 这个issue 来通知你。

[allwefantasy]

byzerllm==0.1.124 修正了这个问题

[wuxianliang]

谢谢，问题解决了。但是我按飞书中的方式部署本地whisper，transcibing特别慢。

byzerllm deploy --pretrained_model_type custom/whisper \
--infer_backend transformers \
--cpus_per_worker 0.001 \
--gpus_per_worker 0 \
--num_workers 1 \
--model_path <Whiper模型的路径>  \
--model voice2text

建议在合适时候优化auto-coder.chat的运行速度。让它快到飞起。