search

charent / Phi2-mini-Chinese

Phi2-Chinese-0.2B 从0开始训练自己的Phi2中文小模型，支持接入langchain加载本地知识库做检索增强生成RAG。Training your own Phi2 small chat model from scratch.
Apache License 2.0
481 stars 51 forks source link

你好，请问预训练需要多大的显存 #1

Closed allenliuvip closed 9 months ago

allenliuvip commented 10 months ago

rt

charent commented 10 months ago

实验性项目，max_len=320，batch_size=8，预训练数据较少。预训练，sft及dpo阶段均为单机单卡，配置如下：

CPU: Intel(R) i5-13600k @ 5.1GHz
内存：32 GB
显卡：NVIDIA GeForce RTX 4060 Ti 16GB * 1
DumoeDss commented 9 months ago

请问该配置训练用了多长时间？

charent commented 9 months ago

预训练我跑了4-5天，sft跑了一天，rlhf跑了半天好像。大差不差吧，我后面换过数据集，有点忘了。

zhilangtaosha commented 9 months ago

4060没ti 能训练吗 只有8GB 显存

charent commented 9 months ago

能，设置半精度bf16，batch_size调小一些（得自己试），不爆显存就可以了，4060可能训练时间比较感人。

WindBruce commented 9 months ago

你好，这个tokeinzer，我看你是用cpu再训练，这个不能用显卡加速吗？

charent commented 9 months ago

不能用显卡加速，tokenizer训练主要是对txt语料做char/byte级别的分割、统计、合并操作，本质上是对字符串进行操作，不是对float/int类型的向量、矩阵进行操作。