search

linyiLYi / bilibot

A local chatbot fine-tuned by bilibili user comments.
Apache License 2.0
2.93k stars 342 forks source link

就是个微调搞那么大模型有啥必要 #20

Open eswulei opened 1 month ago

eswulei commented 1 month ago

还只能m系列能跑

Bruce-zxy commented 1 month ago

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

Bruce-zxy commented 1 month ago

我估计想要跑至少要64G内存

kelvinji2009 commented 1 month ago

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

本来还准备尝试跑一下，现在放弃了。。。

mxr612 commented 1 month ago

不如qwen0.5b硬调

jiuqianyuan commented 1 month ago

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

你这么一说 ，我24G内存就不折腾了

RoversX commented 1 month ago

Ollama 装个 llama3 8b 改下system prompt就差不多了，我觉得微调都太大没必要

new4u commented 1 month ago

确实有点发费周章,不过QLoRA还是可以搞一下的,毕竟还是更finetune

csjacsj commented 1 month ago

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

我和你一样的配置，在跑，跑了一个迭代显示： Starting training..., iters: 1000 Iter 1: Val loss 9.112, Val took 5987.109s

我计算了一下，按这速度一直跑，跑完需要2个多月。。。

csjacsj commented 1 month ago

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

我和你一样的配置，在跑，跑了一个迭代显示： Starting training..., iters: 1000 Iter 1: Val loss 9.112, Val took 5987.109s

我计算了一下，按这速度一直跑，跑完需要2个多月。。。

Iter 10: Train loss 9.735, Learning Rate 1.000e-05, It/sec 0.004, Tokens/sec 5.596, Trained Tokens 12868, Peak mem 81.864 GB zsh: killed python -m mlx_lm.lora --model models/Qwen1.5-32B-Chat --data data/ --train