search

dandelionsllm / pandallm

Panda项目是于2023年5月启动的开源海外中文大语言模型项目，致力于大模型时代探索整个技术栈，旨在推动中文自然语言处理领域的创新和合作。
Apache License 2.0
1.07k stars 91 forks source link

推理超参数 #17

Closed suolyer closed 1 year ago

suolyer commented 1 year ago

hi～，很好的工作，想问下有没有 inference 的代码示例： 1）比如 prompt 的构造，需不需要🏠 Human,Bot等 2）generate 的参数，temperature，top_p,top_k等

我自己generate的效果比较差

SparkJiao commented 1 year ago

Hi, 感谢关注

  1. 不需要特别的前缀，你可以在数据集里的py文件里找到一些默认的prompt。推荐使用COIG系列的模型，会有更好的instruction following的能力
  2. generate我没有加过多的设置，我自己的经验是用greedy search即可，beam search和sampling都可能会让结果变差。