jinlukang1 / issue-Notebook

Daily Issues
1 stars 0 forks source link

pytorch计算图类错误记录 #24

Open jinlukang1 opened 5 years ago

jinlukang1 commented 5 years ago

pytorch的loss的反向传播依赖计算图,对于计算图,由于链式法则,所有和计算loss相关的tensor都会被反向传播一个梯度,因此,对于每一个可能会影响到loss的tensor,都要格外注意,与计算无关的tensor(包括label在内),最好都用detach()进行一个复制再进行使用。