WUHU-G / RCC_Transformer

Apache License 2.0
116 stars 0 forks source link

请问下你们这个方法和LLMLingua2做过对比吗 #1

Open dingjingzhen opened 1 month ago

dingjingzhen commented 1 month ago

非常棒的工作,在这之前我有用过LLMLingua2,效果也很好,我很想知道你们这个方法和LLMLingua2有做过对比吗?从模型大小看要比LLMLingua2所用的xlm-roberta-large要大一些

WUHU-G commented 1 month ago

感谢您的关注,我们没有在指标上对比LLMLingua2,因为我们认为RCC和LLMLingua2是可以结合的,不是相竞争的。 LLMLingua2是通过删除冗余来缩短提示词长度,RCC是通过压缩文本的存储向量来缩短提示词长度。

LLMLingua2相比RCC潜在的缺点 当模型变大时,LLMLingua2能删除的冗余是有限的(句子的冗余部分是有上限的,这个上限和模型大小无关), 而RCC随着模型参数的变大能够压缩的信息会变多(越大的单维向量能够保存越多信息,也就是将更长的句子压缩到一个向量中)。

LLMLingua2如何与RCC结合 如果我们在将提示词输入到RCC之前采用LLMLingua2的方法将提示词中的冗余部分删除,然后在输入给RCC,就能继续提升压缩的长度。