stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型,都是CRF范式,包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF,可微调预训练模型,可对抗学习,用于命名实体识别,配置后可直接运行。
393 stars 74 forks source link

GPU 使用率 #6

Closed ancue closed 3 years ago

ancue commented 3 years ago

感谢分享。训练过程中GPU 使用率一直在30%到60%之间,有没有什么办法可以提高?

stanleylsx commented 3 years ago

感谢分享。训练过程中GPU 使用率一直在30%到60%之间,有没有什么办法可以提高?

确实存在这个问题,个人觉得个人从以下几个办法提高gpu的利用率: 1.提高batch的大小,尽可能多用显存 2.减少一些中途的打印输出 3.每个batch开始前,针对每个batch的数据有个shuffle和提取下一个批次的过程,这个部分的数据封装一直没时间改,你可以尝试使用tf.data.Dataset重构下。