Open lxiaohaung opened 1 month ago
在预训练的时候,我在过transformer的encoder的时候,output 会出现nan,我看您的代码里也曾经检查过这个问题,想问问是怎么解决的
在预训练的时候,我在过transformer的encoder的时候,output 会出现nan,我看您的代码里也曾经检查过这个问题,想问问是怎么解决的