Open beyondskyway opened 4 months ago
同问,希望尽快提供ollama支持
本地部署了ollama进行模型管理,想使用BCEmbedding
https://github.com/ollama/ollama/blob/main/docs/import.md 尝试了根据ollama的文档进行转换,使用llama.cpp/convert.py转换时报错
llama.cpp/convert.py", line 266, in loadHFTransformerJson
f_norm_eps = config["rms_norm_eps"],
KeyError: 'rms_norm_eps'
使用convert-hf-to-gguf.py转换时报错
llama.cpp/convert-hf-to-gguf.py", line 216, in from_model_architecture
raise NotImplementedError(f'Architecture {arch!r} not supported!') from None
NotImplementedError: Architecture 'XLMRobertaModel' not supported!
本地部署了ollama进行模型管理,想使用BCEmbedding