search

PantsuDango / Dango-Translator

团子翻译器 —— 个人兴趣制作的一款基于OCR技术的翻译器
GNU Lesser General Public License v2.1
7.15k stars 524 forks source link

是否考虑使gpt接口适用于text-generation-webui？ #142

Closed beavermarine closed 10 months ago

beavermarine commented 10 months ago

目前tgw使用和gpt相同的api，但是没有api_key，留空会报错。鉴于一些可以本地使用的模型在翻译水平上已经达到了机翻程度，希望可以适配tgw。

PantsuDango commented 10 months ago

我已经接了tgw，但是没开放出来，你要试试么，可以直接戳我qq

------------------ 原始邮件 ------------------ 发件人: "PantsuDango/Dango-Translator" @.>; 发送时间: 2024年1月27日(星期六) 晚上11:51 @.>; @.***>; 主题: [PantsuDango/Dango-Translator] 是否考虑使gpt接口适用于text-generation-webui？ (Issue #142)

目前tgw使用和gpt相同的api，但是没有api_key，留空会报错。鉴于一些可以本地使用的模型在翻译水平上已经达到了机翻程度，希望可以适配tgw。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

PantsuDango commented 10 months ago

这是一个单独接入了tgw的版本 EOS下载地址

你可以在如图所示的位置开启调用 {71C1C2BD-7039-4a9f-AE20-41B32D0CFC61}

beavermarine commented 10 months ago

抱歉这几天没上GitHub。cpu：12400 显卡：3060-12g 内存32g。使用tgw加载sakura-13b-lnovel-v0.9-Q4KM_awq4bit.gguf模型 可以正常调用tgw。翻译速度大概为10token每秒。遇见大量语气词的内容时会出现复述，其他翻译内容偶尔抽风不过语句通顺度要好于机翻，多谢您的分享。