nigue3025
commented
9 months ago 網頁Demo與程式碼執行結果有落差，範例問題的生成結果無法達到相似回答，以下為程式碼測試結果:
啟動模型程式碼如下: (已預先離線模式在提供容器鏡像內放入預訓練模型，該容器為hello-world，) docker run --gpus all --shm-size 1g -p 10010:80 -v "/data/program/yentinglin_Taiwan-LLaMa-v1.0":/data/program/yentinglin_Taiwan-LLaMa-v1.0 hello-world:v1.0 --model-id "/data/yentinglin_Taiwan-LLaMa-v1.0" --num-shard 1 --max-input-length 200 --max-total-tokens 2000
如何執行才能與網站Demo(https://huggingface.co/yentinglin/Taiwan-LLaMa-v1.0/tree/main) 生成結果相似?
可以參考這個 https://github.com/MiuLab/Taiwan-LLaMa/issues/19#issuecomment-1687281286
網頁Demo與程式碼執行結果有落差，範例問題的生成結果無法達到相似回答，以下為程式碼測試結果:
啟動模型程式碼如下: (已預先離線模式在提供容器鏡像內放入預訓練模型，該容器為hello-world，) docker run --gpus all --shm-size 1g -p 10010:80 -v "/data/program/yentinglin_Taiwan-LLaMa-v1.0":/data/program/yentinglin_Taiwan-LLaMa-v1.0 hello-world:v1.0 --model-id "/data/yentinglin_Taiwan-LLaMa-v1.0" --num-shard 1 --max-input-length 200 --max-total-tokens 2000
如何執行才能與網站Demo(https://huggingface.co/yentinglin/Taiwan-LLaMa-v1.0/tree/main) 生成結果相似?