search

CVI-SZU / Linly

Chinese-LLaMA 1&2、Chinese-Falcon 基础模型；ChatFlow中文对话模型；中文OpenLLaMA模型；NLP预训练/指令微调数据集
3.03k stars 235 forks source link

是否考虑通过位置插值来扩展大语言模型的上下文窗口 ，将上下文窗口提升至32K #116

Open xfg0913 opened 1 year ago

xfg0913 commented 1 year ago

原始论文为：Extending Context Window of Large Language Models via Positional Interpolation https://arxiv.org/abs/2306.15595