search

KwanWaiChung / M4LE

Code for M4LE: A Multi-Ability Multi-Range Multi-Task Multi-Domain Long-Context Evaluation Benchmark for Large Language Models
MIT License
22 stars 0 forks source link

推理长度OOM问题 #8

Open Zhangchaoran000 opened 3 months ago

Zhangchaoran000 commented 3 months ago

您好我想请问下，在单卡测试的64K的输入长度是可能的嘛？使用0.5B的模型，在40G的A100显卡上，只能够支持16K的长度输入，32K就会OOM