Omost use other llms api

[stone100010]

当前情况：单卡3090，生成提示词3分钟，出图15秒 盲猜本地llama3-8b表现得速度太慢，是否支持openai这种标准接口？期待回复，再一次感谢作者团队的伟大作品！

[xhoxye]

'lllyasviel/omost-llama-3-8b-4bits'
'lllyasviel/omost-dolphin-2.9-llama3-8b-4bits'
'lllyasviel/omost-phi-3-mini-128k-8bits'
'lllyasviel/omost-llama-3-8b'
'lllyasviel/omost-dolphin-2.9-llama3-8b'
'lllyasviel/omost-phi-3-mini-128k'

不知道是否有更快的选项？ Not sure if there's a faster option?

[yugame]

lll 提供的模型是经过train的 其他的api输出不了指定内容 这个生成速度已经不慢了 这种形式的提示一次的TOKEN数很多就是能用API也快不了 可能需要换一种方式输出，看如何减少输出TOKEN

[ggyzh]

请问有没有提供GGUF版本的，macOS 上这种版本比较快

[meigami0]

支持API就可以使用vllm或者exllamav2这类推理引擎在本地快速推理只需要几秒