希望增加 oobabooga/text-generation-webui/ 的接口

NEKOparapa / AiNiee

一款专注于Ai翻译的工具，可以用来一键自动翻译RPG SLG游戏，Epub TXT小说，Srt Lrc字幕等等。

GNU General Public License v3.0

1.21k stars 71 forks source link

希望增加 oobabooga/text-generation-webui/ 的接口 #253

Closed DCinAC closed 1 week ago

DCinAC commented 1 week ago

現時sakuraLLM是經由llama.cpp運行的，雖然有些時候能直接替換其他gguf運行，然而llama並不支持一些例如safetensor的模型。然後使用sakura接口強行連接上 oobabooga/text-generation-webui/ 的進程是可行的，但只能發送系統提示詞和文本，希望將來能使用提示書和直接在ainiee裏調整參數

NEKOparapa commented 1 week ago

你想用提示书与参数调整，可以用代理平台来发送请求。现在家用算力上不去，暂时不会考虑对其他本地模型的优化，跑批量比较慢且容易格式出错