search

fkiliver / RPGMaker_LLM_Translator

77 stars 9 forks source link

不曉得有沒有其他人遇到，使用 ngrok_kaggle_tgw 的情況 #21

Open getoutnow2013 opened 4 weeks ago

getoutnow2013 commented 4 weeks ago

我在執行 main.py，使用 ngrok_kaggle_tgw 的情況時 不管怎麼送 request.post，伺服器端都會收到： 3926.6s 3581 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 0: invalid start byte

最後我修改了 data 的內容，把 {"role": "system", "content": "你是一个轻小说翻译模型，可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文，并联系上下文正确使用人称代词，不擅自添加原文中没有的代词。"}, 這段去掉之後，伺服器端就會正確翻譯並回應了。

不曉得是不是伺服器端的API有偷做修改？不確定。 總之如果有人也使用 ngrok_kaggle_tgw 卻發現一直都是 UnicodeDecodeError 時，可以參考看看。

另外補充一下 我是直接抓 main.py 之後自己修改使用，因為 main.py 是以 json 讀取整個輸入檔 而我是將 Translate++ 的內容導出成文字檔，而非導出成 json 格式的檔案 所以必須修改 main.py 的讀取方式

我用逐行文字檔，最大的目的是 這樣將譯文回填 Translate++ 時，整個選起來，可以一次性直接將譯文貼上到 Translate++ 的格子裡面 就能直接開始校對了 如果使用的是 json 格式，那就還要想辦法處理掉 key 的部份，才能整批一起貼到 Translate++ 裡 （或者一行一行手動複製貼上，但這樣會累死www）

fkiliver commented 3 weeks ago

感谢反馈，目前项目有点混乱，我想等sakura0.10正式版发布后对这个项目进行重构，也会加入Translate++支持

ABSllk commented 3 weeks ago

目前最新版本已经增加了对Translator++的支持(在我的pr被并入之后),如果等不及可以直接到我fork的项目上使用 另外你说的情况我没有遇到过,可否提交一下遇到该情况的翻译文件或者出现问题的行?

getoutnow2013 commented 2 weeks ago

目前最新版本已经增加了对Translator++的支持(在我的pr被并入之后),如果等不及可以直接到我fork的项目上使用 另外你说的情况我没有遇到过,可否提交一下遇到该情况的翻译文件或者出现问题的行?

我當時是使用 ngrow+tgw+kaggle，模型用 sakaura13b llm gguf 使用的是 RPGMaker_LLM_Translator v0.3.2 release main.py 1.程式沒有任何錯誤(no exception) 2.所有文本一送，就被返回空的翻譯結果，回傳json格式可以正常拆解 3.去查了kaggle伺服器端的訊息，看到都是出現 UnicodeDecodeError 4.我後來自己改 main.py 去掉 "role": "system" 這段就正常了

看到 0.3.4 出了，有空再來試試看 Thank you

getoutnow2013 commented 1 week ago

結果還是不行 我抓了0.3.5 release來用

kaggle方面就是填ngork序號、選擇GPU T4x2，Internet ON，然後啟動

kaggle 的 Model 設定： ．載入 SakuraLLM 13B Q8 v0.9 GGUF ．設定 n-gpu-layers: 256 ．勾選 tensorcores 20240625_001

kaggle 的 Session 設定： ．預設就有勾選 openai、api，無額外操作 20240625_002

使用 main.py (0.3.5)： ．目標腳本是 T++ 輸出的CSV檔，無任何修改 可以看到回應速度很快，但是所有翻譯結果都是空的。 20240625_004

到 kaggle 的 Log 視窗： ．可以發現大量如 3042 行的訊息：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 0 20240625_005

但是一樣，如果把 main.py 裡面 role: system 這段 node 都去掉， 並且把「你是一個輕小說翻譯模型」這些prompt，放到 role: user 這段 node 中 就能進行發送並且回傳翻譯

ABSllk commented 5 days ago

有尝试更换过平台吗?另外你是否有把prompt更改为繁體中文?

getoutnow2013 commented 3 days ago

更換平台這點，不太懂你的意思是？ 我是用win10 prof 繁體中文版，要換到其他版本的意思？

prompt沒有動喔，是簡體中文 我用的main.py如附件 main035.py.txt

我有修改的是下列項目： 1.config檔名改為 config035.json 2.儲存頻率預設 100 -> 10 3.把shutdown選項及功能remark掉

其實我在想是不是 kaggle 那邊有什麼設定弄錯了才這樣 但是 kaggle 那邊我也只是照教學，填 api code，手機認證，使用 GPU T4x2、internet on 下載sakura模型、n-layer拉到256、啟動 tensorcore 除此之外的設定都沒有動過....