search

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用
https://llama.family
13.72k stars 1.24k forks source link

如何利用非问答知识进行垂直领域微调 #360

Open wdi-nancy opened 1 month ago

wdi-nancy commented 1 month ago

各位大佬，我有个问题一直不清楚怎么办。在微调llama3的时候（不管是否使用lora），所需的微调数据都是一个问题一个答案。但如果我想把垂直领域的非问答知识注入进去（比如教科书），应该怎么做呢？