thunlp / InfLLM

The code of our paper "InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory"

MIT License

309 stars 29 forks source link

实际测试效果较差 #33

Open sdw12138 opened 7 months ago

sdw12138 commented 7 months ago

您好，您的工作确实很有创意。我剥离了原有的评估代码，使用Qwen1.5-14B-chat 进行测试。当提供的文本长度达到30000字符长度时，InfLLM已经开始无法准确的回答问题。当文本继续增大时，输出错误加剧。能帮忙看看调整哪些参数可以优化结果

yaml 文件如下： model: type: inf-llm path: /data/public/LLM/basemodels/qwen_1_5/Qwen1.5-14B-Chat/ block_size: 128 n_init: 128 n_local: 4096 topk: 16 repr_topk: 4 max_cached_block: 32 exc_block_size: 512 fattn: True base: 1000000 distance_scale: 1.0

max_len: 2147483647 chunk_size: 2048 conv_type: qwen

server 脚本

lnFLLM_server.txt

xcjthu commented 7 months ago

您好，我们这边测试了Qwen1.5-7B-chat，在32k文本上依旧能够正常生成~ 请问具体您遇到的问题是什么样呢

sdw12138 commented 7 months ago

您好，我们这边测试了Qwen1.5-7B-chat，在32k文本上依旧能够正常生成~ 请问具体您遇到的问题是什么样呢

那尝试过 64k文本 or 100K文本吗? 我的测试结果显示当超出窗口后，效果变差

xcjthu commented 7 months ago

您好，我采样了部分128K的passkey retrieval的数据，使用Qwen1.7-7B-chat同样能够准确地从文本中抽取passkey

sdw12138 commented 7 months ago

您好，我采样了部分128K的passkey retrieval的数据，使用Qwen1.7-7B-chat同样能够准确地从文本中抽取passkey

哦哦哦，感谢您的回复。请问你抽取的passkey 所在位置是否比较固定，比如文章开头 or 末尾处。您方便提供一个样例给我，辅助我测试吗？