ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

大佬好,请问关于scheduler #210

Closed IamRoBota closed 1 year ago

IamRoBota commented 1 year ago

请问data_utils.py的train_info_args里的学习率调度器"scheduler"在train.py哪里传进去的?本来以为是在创建Trainer实例的时候,但是发现好像没这个参数,而且看了下Trainer的源码,也没用到这个呢😵 Screenshot 2023-04-30 at 21 11 41

IamRoBota commented 1 year ago

求大佬解惑55 @ssbuild

ssbuild commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

IamRoBota commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

是这么来的吗大佬:

MyTransformer的父类的父类是TransformerBase,Base的元类是TransformerFakeMeta,因为with_pl设置为True,所以给TransformerBase添加了一个父类TransformerLightningModule,这个类带有configure_optimizer()这个函数,所以MyTransformer继承到了。

但是没看到在哪调用过这个函数呢?😭

ssbuild commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

是这么来的吗大佬:

MyTransformer的父类的父类是TransformerBase,Base的元类是TransformerFakeMeta,因为with_pl设置为True,所以给TransformerBase添加了一个父类TransformerLightningModule,这个类带有configure_optimizer()这个函数,所以MyTransformer继承到了。

但是没看到在哪调用过这个函数呢?😭

你读的很认真,TransformerLightningModule 继承LightningModule , ligntning 框架调用 , 感兴趣可以看看它的文档。