search

THUDM / AgentTuning

AgentTuning: Enabling Generalized Agent Abilities for LLMs
https://thudm.github.io/AgentTuning/
1.36k stars 95 forks source link

微调显存 #35

Closed Reason-Wang closed 12 months ago

Reason-Wang commented 1 year ago

请问微调一个模型（例如7B）需要多大的显存？

Btlmd commented 12 months ago

试了一下，如果使用 FSDP，在 --bf16 --per_device_train_batch_size 1 --gradient_accumulation_steps 2 --seq_length 4096 --fsdp "full_shard auto_wrap" 下，至少需要 2 * 80GB 显存。