search

FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
5.97k stars 432 forks source link

activation_beacon最长上下文窗口长度400K，是否与现有的长上下文模型（baichuan-192k，GPT-4-128k、kimi chat）对比评测结果 #409

Open cnsky2016 opened 5 months ago

cnsky2016 commented 5 months ago

看论文主要是跟微调方法（如Positional Interpolation、NTK-Aware Scale ROPE和StreamingLLM）比较 有没有跟现有商业长上下文模型准确度对比评测结果？ 想知道该技术方案的效果

namespace-Pt commented 5 months ago

Hi，谢谢你的关注。

目前没有和商业模型对比，之后会跟进。