search

yhcc / CNN_Nested_NER

105 stars 7 forks source link

为什么模型在推理的时候显存消耗上会远低于W2NER？ #13

Open qq594495953 opened 1 year ago

qq594495953 commented 1 year ago

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

yhcc commented 1 year ago

可能是由于W2NER有三个cnn layer，并且还加入了一层LSTM

wmc1421910835 commented 1 year ago

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

qq594495953 commented 1 year ago

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

你batch_size调小些看看，我是单卡16g的

wmc1421910835 commented 1 year ago

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

你batch_size调小些看看，我是单卡16g的

嗷嗷，谢谢，我调到4就能跑了😂

tigermask1978 commented 11 months ago

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

想知道如何进行推理，能否给个例子，谢谢。