MiuLab / Taiwan-LLM

Traditional Mandarin LLMs for Taiwan
https://twllm.com
Apache License 2.0
1.23k stars 102 forks source link

Prompt-template with contexts #34

Closed wennycooper closed 12 months ago

wennycooper commented 1 year ago

您好,

請問有沒有建議的 prompt-template with contexts (例如 chat_history, 上下文, 或參考資料) 我知道作者您有提到建議用 vicuna-v1.1 template, 但我看這個template 並沒有 contexts 的部份.

可否請您提供一些建議 templates? 謝謝!

PenutChen commented 12 months ago

其實就按照格式一直 Append 下去就好了,Taiwan Llama 模型本身並沒有非常 Overfit 在 Vicuna Template 上:

prompt = """### USER: 什麼是語言模型

### ASSISTANT: 語言模型是一種人工智慧模型,它是通過大量的文本數據訓練而成,以預測句子中下一個單詞的概率。語言模型可以用於各種任務,例如文本生成、機器翻譯、摘要等。它們通常基於深度學習技術,如循環神經網絡(RNN)和Transformer。語言模型的輸出通常是對文本的概率分佈,可以用於生成與訓練數據相似的文本。

### USER: 例如什麼資料集

### ASSISTANT: """

以上 Prompt 會產生以下結果:

語言模型通常使用特定領域的文本數據進行訓練,例如新聞文章、書籍或科學論文。這些資料集用於訓練語言模型,以學習文本中單詞之間的模式和關係。

例如,一個語言模型可能在一個包含新聞文章的資料集上進行訓練,這些文章可能包含句子結構、特定詞語和短語的使用以及傳達特定信息的語言模式。通過分析這些文本,語言模型將學習生成連貫且與訓練數據相似的文本的方法。

另一個例子可能是一個包含特定領域術語和概念的科學論文資料集,用於訓練語言模型,以生成與訓練數據相似的科學論文。

值得注意的是,語言模型可以在各種領域和資料集上進行訓練,具體取決於任務和資料集的特定需求。

只要一個模型沒有過於 Overfitting,基本上 Template 本身還是很彈性自由的:

prompt = """### INSTRUCTION: 請根據以下 REF 回答 USER 的問題。

### REF: AWS在多個服務加入一系列生成式人工智慧新功能,使用戶能夠更簡單地運用人工智慧提升生產力。AWS全託管人工智慧平臺Amazon Bedrock正式推出,並且提供更多強大的模型,程式碼編寫助理Amazon CodeWhisperer新增客製化功能,而商業智慧解決方案Amazon QuickSight Q也加入語言模型進一步簡化用戶資料分析任務。

### REF: Amazon Bedrock是一個基礎模型API服務,用戶可以透過API存取Amazon自家,以及像是AI21 Labs、Anthropic、Cohere、Meta、Stability AI等第三方的基礎模型,Bedrock簡化了人工智慧應用開發過程,並且著重保護企業的隱私安全。Bedrock在4月的時候公布,現在AWS宣布該項服務正式推出,同時也增加Llama 2和Amazon Titan Embeddings新模型供用戶選擇。

### USER: 請問 Amazon Bedrock 提供哪些模型可用

### ASSISTANT: """

參考輸出結果:

根據上述資料,Amazon Bedrock 提供以下基礎模型:
- Llama 2
- Amazon Titan Embeddings

至於什麼樣的格式比較好,還是必須根據自身的應用場景多加嘗試比較好