search

twcc / AFS_tools

6 stars 1 forks source link

在`Cloud 服務` 選擇 `TWCC預設` 連接得到錯誤`http error: Internal Server Error` #8

Open bensonbs opened 10 months ago

bensonbs commented 10 months ago

請問Cloud 服務僅支援AFS任務嗎?我使用TWCC預設得到錯誤http error: Internal Server Error

ffm.predict('你好')

{'inputs': '你好', 'parameters': {'temperature': 0.01, 'max_new_tokens': 1024, 'top_p': 1.0, 'frequence_penalty': 1.1, 'top_k': 50}, 'model': 'tws-ffm-176b-0509-2000'}
https://203-145-216-185.ccs.twcc.ai:5***8/text-generation/api/models/generate
{'X-API-KEY': 'b4603014-****-****-****-c3772bef8220', 'Content-Type': 'application/json'}

'http error: Internal Server Error'
twsc-aug commented 10 months ago

目前的版本支援 AFS Cloud 及 CCS for GAI 版本。

從你的 json 資料中看到，'model': 'tws-ffm-176b-0509-2000' 可能不是 for AFS Cloud or CCS for GAI。請再幫忙確認一下，謝謝!

bensonbs commented 10 months ago

我順利連上了分享一下設置，Github文檔中的API_URL可能沒有更新，與官方文檔有所不同。

    'ffm-7b-finetune' : {
        "API_URL" : "https://203-***-***-185.ccs.twcc.ai:5***0/text-generation/api/models/generate",
        "MODEL_NAME" : "mission-1f23c27b-****-****-****-0bc8f839e0f0",
        "API_KEY" : "73cc555b-****-****-****-b3498a822f85"
    },

    'embedded' : {
        "API_URL" : "https://203-***-***-185.ccs.twcc.ai:5***5/embeddings/api/embeddings",
        "API_KEY" : "9eaa731c-****-****-****-51b7f8c9846b"
    }
twsc-aug commented 10 months ago

thanks!

will update the info.