search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

大佬好，请问关于scheduler #210

Closed IamRoBota closed 1 year ago

IamRoBota commented 1 year ago

请问data_utils.py的train_info_args里的学习率调度器"scheduler"在train.py哪里传进去的？本来以为是在创建Trainer实例的时候，但是发现好像没这个参数，而且看了下Trainer的源码，也没用到这个呢😵 Screenshot 2023-04-30 at 21 11 41

IamRoBota commented 1 year ago

求大佬解惑55 @ssbuild

ssbuild commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

IamRoBota commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

是这么来的吗大佬：

MyTransformer的父类的父类是TransformerBase，Base的元类是TransformerFakeMeta，因为with_pl设置为True，所以给TransformerBase添加了一个父类TransformerLightningModule，这个类带有configure_optimizer()这个函数，所以MyTransformer继承到了。

但是没看到在哪调用过这个函数呢？😭

ssbuild commented 1 year ago

https://github.com/ssbuild/deep_training/blob/98d981383803bc6bcf2d845a9259379aadadfb06/nlp/utils/__init__.py#L16

是这么来的吗大佬：

MyTransformer的父类的父类是TransformerBase，Base的元类是TransformerFakeMeta，因为with_pl设置为True，所以给TransformerBase添加了一个父类TransformerLightningModule，这个类带有configure_optimizer()这个函数，所以MyTransformer继承到了。

但是没看到在哪调用过这个函数呢？😭

你读的很认真，TransformerLightningModule 继承LightningModule ， ligntning 框架调用 ， 感兴趣可以看看它的文档。