Closed DCinAC closed 2 months ago
現時sakuraLLM是經由llama.cpp運行的,雖然有些時候能直接替換其他gguf運行,然而llama並不支持一些例如safetensor的模型。 然後使用sakura接口強行連接上 oobabooga/text-generation-webui/ 的進程是可行的,但只能發送系統提示詞和文本,希望將來能使用提示書和直接在ainiee裏調整參數
你想用提示书与参数调整,可以用代理平台来发送请求。现在家用算力上不去,暂时不会考虑对其他本地模型的优化,跑批量比较慢且容易格式出错
現時sakuraLLM是經由llama.cpp運行的,雖然有些時候能直接替換其他gguf運行,然而llama並不支持一些例如safetensor的模型。 然後使用sakura接口強行連接上 oobabooga/text-generation-webui/ 的進程是可行的,但只能發送系統提示詞和文本,希望將來能使用提示書和直接在ainiee裏調整參數