OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型
2.68k stars 211 forks source link

问题:请问cpm-bee中的微调是指finetuning吗?cpm-bee可以进行Prompt enginering吗?(指令微调,或者chain of thoutht微调) #104

Open summerghw opened 1 year ago

summerghw commented 1 year ago

image 1。这里看到BM体系里是包含finetuning 和prompt的。但是在文档中,只找到了一个微调的段落。请问该微调属于哪一种? image

  1. 请问cpm-bee属于第一种还是第二种模型? image
EnHuiPug commented 12 months ago
  1. 文档里面的全量微调是指图里面的fine tuning,增量微调是指delta tuning
  2. 第一种,但是你的描述不准确,一般来说都是先训练出来基座模型(比如 qwen-base,然后用基座模型SFT出来一个SFT模型(比如 qwen-chat),所以你不应该问CPMBee是哪种模型,而是问开源出来的这个模型参数是哪种模型,答案是基座模型。