NEKOparapa / AiNiee

一款专注于Ai翻译的工具,可以用来一键自动翻译RPG SLG游戏,Epub Word TXT小说,Srt Vtt Lrc字幕等等。
GNU General Public License v3.0
1.41k stars 78 forks source link

希望增加 oobabooga/text-generation-webui/ 的接口 #253

Closed DCinAC closed 2 months ago

DCinAC commented 2 months ago

現時sakuraLLM是經由llama.cpp運行的,雖然有些時候能直接替換其他gguf運行,然而llama並不支持一些例如safetensor的模型。 然後使用sakura接口強行連接上 oobabooga/text-generation-webui/ 的進程是可行的,但只能發送系統提示詞和文本,希望將來能使用提示書和直接在ainiee裏調整參數

NEKOparapa commented 2 months ago

你想用提示书与参数调整,可以用代理平台来发送请求。现在家用算力上不去,暂时不会考虑对其他本地模型的优化,跑批量比较慢且容易格式出错