search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.34k stars 288 forks source link

如何修改，支持4k上下文，以及16k上下文呢？ #53

Closed 937739823 closed 6 months ago

937739823 commented 6 months ago

如何修改，支持4k上下文，以及16k上下文呢？

DLLXW commented 6 months ago

如何修改，支持4k上下文，以及16k上下文呢？

修改max_seq_len=4000或者max_seq_len=16000即可，如果你的显存扛得住的话