Open jinlukang1 opened 5 years ago
pytorch的loss的反向传播依赖计算图,对于计算图,由于链式法则,所有和计算loss相关的tensor都会被反向传播一个梯度,因此,对于每一个可能会影响到loss的tensor,都要格外注意,与计算无关的tensor(包括label在内),最好都用detach()进行一个复制再进行使用。
pytorch的loss的反向传播依赖计算图,对于计算图,由于链式法则,所有和计算loss相关的tensor都会被反向传播一个梯度,因此,对于每一个可能会影响到loss的tensor,都要格外注意,与计算无关的tensor(包括label在内),最好都用detach()进行一个复制再进行使用。