如何在ollama中使用BCEmbedding模型？

beyondskyway commented 4 months ago

本地部署了ollama进行模型管理，想使用BCEmbedding

Feige-cn commented 3 months ago

同问，希望尽快提供ollama支持

beyondskyway commented 3 months ago

本地部署了ollama进行模型管理，想使用BCEmbedding

https://github.com/ollama/ollama/blob/main/docs/import.md 尝试了根据ollama的文档进行转换，使用llama.cpp/convert.py转换时报错

llama.cpp/convert.py", line 266, in loadHFTransformerJson
    f_norm_eps        = config["rms_norm_eps"],
KeyError: 'rms_norm_eps'

使用convert-hf-to-gguf.py转换时报错

llama.cpp/convert-hf-to-gguf.py", line 216, in from_model_architecture
    raise NotImplementedError(f'Architecture {arch!r} not supported!') from None
NotImplementedError: Architecture 'XLMRobertaModel' not supported!

netease-youdao / BCEmbedding

如何在ollama中使用BCEmbedding模型？ #43