Closed wennycooper closed 12 months ago
其實就按照格式一直 Append 下去就好了,Taiwan Llama 模型本身並沒有非常 Overfit 在 Vicuna Template 上:
prompt = """### USER: 什麼是語言模型
### ASSISTANT: 語言模型是一種人工智慧模型,它是通過大量的文本數據訓練而成,以預測句子中下一個單詞的概率。語言模型可以用於各種任務,例如文本生成、機器翻譯、摘要等。它們通常基於深度學習技術,如循環神經網絡(RNN)和Transformer。語言模型的輸出通常是對文本的概率分佈,可以用於生成與訓練數據相似的文本。
### USER: 例如什麼資料集
### ASSISTANT: """
以上 Prompt 會產生以下結果:
語言模型通常使用特定領域的文本數據進行訓練,例如新聞文章、書籍或科學論文。這些資料集用於訓練語言模型,以學習文本中單詞之間的模式和關係。
例如,一個語言模型可能在一個包含新聞文章的資料集上進行訓練,這些文章可能包含句子結構、特定詞語和短語的使用以及傳達特定信息的語言模式。通過分析這些文本,語言模型將學習生成連貫且與訓練數據相似的文本的方法。
另一個例子可能是一個包含特定領域術語和概念的科學論文資料集,用於訓練語言模型,以生成與訓練數據相似的科學論文。
值得注意的是,語言模型可以在各種領域和資料集上進行訓練,具體取決於任務和資料集的特定需求。
只要一個模型沒有過於 Overfitting,基本上 Template 本身還是很彈性自由的:
prompt = """### INSTRUCTION: 請根據以下 REF 回答 USER 的問題。
### REF: AWS在多個服務加入一系列生成式人工智慧新功能,使用戶能夠更簡單地運用人工智慧提升生產力。AWS全託管人工智慧平臺Amazon Bedrock正式推出,並且提供更多強大的模型,程式碼編寫助理Amazon CodeWhisperer新增客製化功能,而商業智慧解決方案Amazon QuickSight Q也加入語言模型進一步簡化用戶資料分析任務。
### REF: Amazon Bedrock是一個基礎模型API服務,用戶可以透過API存取Amazon自家,以及像是AI21 Labs、Anthropic、Cohere、Meta、Stability AI等第三方的基礎模型,Bedrock簡化了人工智慧應用開發過程,並且著重保護企業的隱私安全。Bedrock在4月的時候公布,現在AWS宣布該項服務正式推出,同時也增加Llama 2和Amazon Titan Embeddings新模型供用戶選擇。
### USER: 請問 Amazon Bedrock 提供哪些模型可用
### ASSISTANT: """
參考輸出結果:
根據上述資料,Amazon Bedrock 提供以下基礎模型:
- Llama 2
- Amazon Titan Embeddings
至於什麼樣的格式比較好,還是必須根據自身的應用場景多加嘗試比較好
您好,
請問有沒有建議的 prompt-template with contexts (例如 chat_history, 上下文, 或參考資料) 我知道作者您有提到建議用 vicuna-v1.1 template, 但我看這個template 並沒有 contexts 的部份.
可否請您提供一些建議 templates? 謝謝!