wujcan / SGL-TensorFlow

173 stars 42 forks source link

请求解答一个文章中的疑惑 #26

Open ithok opened 2 years ago

ithok commented 2 years ago

是关于自监督损失的复杂度方面的,文中给出的推导过程是 在一个批次的计算中,分子部分:O(Bd) + 分母部分O(BMd) -> 一个批次的总复杂度为 O(|E|d(2+|V|))

关于这个推导不是很理解,目前暂时还没有看源码,所以也不清楚具体的实现是怎么样,我自己的推导过程是 one epoch: user = bd+bmd=b(m+1)d item = bd+bid+b(i+1)d user+item = b(m+2+i)d -> O(bd(2+|V|)) 区别就在 bd(2+|V|) 还是 |E|d(2+|V|) 因为我本人刚入门,可能问题有点蠢,还望您能够解答,文章的其他部分还是能读下来的

wujcan commented 2 years ago

你这边算的是一个mini-batch的计算量,而一个epoch里面有|E|/B个mini-batch,所以总计算量是|E|d(2+|V|)

ithok commented 2 years ago

不好意思搞混了,谢谢!