search

IDEA-CCNL / GTS-Engine

GTS Engine: A powerful NLU Training System。GTS引擎（GTS-Engine）是一款开箱即用且性能强大的自然语言理解引擎，聚焦于小样本任务，能够仅用小样本就能自动化生产NLP模型。
https://gtsfactory.com/
Apache License 2.0
89 stars 9 forks source link

Dev renxiaoqin memory optimization #44

Closed ninisy closed 1 year ago

ninisy commented 1 year ago
  1. pull from main分支，获取最新[向用户隐藏Trainer相关参数]
  2. 新增gradient checkpoint参数控制。目前没有参数分组，就直接加了
  3. 新增推理时torch.no_grad()，减少推理时显存占用
  4. 优化class-wise dataloder参数设置，使尽可能在各种显卡都能正常运行
  5. 修改pipeline_utils.py中qiankunding相关参数传递，已同步一博
pskun commented 1 year ago

根据上午的讨论，不暴露显存使用的参数给用户