Closed ZoangX closed 9 months ago
在上述图片上,标红的是我不明白的地方。有个我最疑惑的地方,就是set_info中的4代表什么意思,如果您有时间,还请稍微解释一下别的标红的参数,谢谢!
4代表这个stage有4个block;hybrid_factor时hybrid window的参数,论文里有提及;shift_list控制window shift的步长;normalize_pos用于token的position embedding。
感谢前辈的回答,shift_list[[[0, 0, 0], [6, 6, 0]]]中的[6,6,0]我是能理解的,就是每次block结束时下一次block开始前滑动一次步长为6*6的窗口,但是为什么要前边再加一个[0,0,0],它是什么意思呢?
感谢前辈的回答,shift_list[[[0, 0, 0], [6, 6, 0]]]中的[6,6,0]我是能理解的,就是每次block结束时下一次block开始前滑动一次步长为6*6的窗口,但是为什么要前边再加一个[0,0,0],它是什么意思呢?
就是不shift,仔细看一下代码应该很容易明白。