search

AI-Study-Han / Zero-Chatgpt

从0开始，将chatgpt的技术路线跑一遍。
151 stars 24 forks source link

max_position_embeddings #8

Open jasonzou opened 2 months ago

jasonzou commented 2 months ago

多谢！学到不少。有一个问题，您的model的 https://github.com/AI-Study-Han/Zero-Chatgpt/blob/d19e74bc3d2f15c743c084fb6949232a17b040d0/pretrain/model/config.json#L18C1-L19C1设置这么大有什么特别的考虑和讲究吗？

AI-Study-Han commented 2 months ago

不好意思，这里应该是设置的有问题，没必要这么大的。