Closed CallieHsu closed 6 months ago
@CallieHsu 感謝提問。 會出現這個問題主要是 streamlit 找不到 LLM 的模型, 你的實作中 LLM 的 URL 是:http://127.0.0.1:8080/ 但這邊我們使用 openai 的接口,正確的 URL 是:http://127.0.0.1:8080/v1 細節可以參考 llama.cpp 的文件 希望有幫助到你 :)
@wsxqaza12 謝謝回覆, 很詳細, 修正輸入的URL後就能正常運行沒有問題~ 再次感謝你的分享 :smiley:
Hi @wsxqaza12 , 感謝你無私地提供詳盡的RAG教學, 從中學習到很多, 在實作這個repo時遇到了一點問題, 如下:
操作步驟
上傳範例pdf檔後, 在送出問題的時候出現error:
error message