search

yitu-opensource / ConvBert

Other
246 stars 54 forks source link

疑惑 #6

Closed focox closed 3 years ago

focox commented 3 years ago

image 论文描述中，这个部分是LConv，有点不解，望不吝解答，感谢

zihangJiang commented 3 years ago

您好，感谢您对我们项目的关注。 论文中的LConv的notation是为了更方便读者理解，实际implement我们参考了pytorch/fairseq中lightconv的部分和dynamic conv的部分，我们code中的 https://github.com/yitu-opensource/ConvBert/blob/cc927862171a3b81bf2f8de5e3110a230d943d50/model/modeling.py#L969-L983 即为LConv的操作，与pytorch/fairseq中的实现是完全等价的。

如果您关于LConv还有其他问题，可以参考Pay Less Attention with Lightweight and Dynamic Convolutions和pytorch/fairseq，其中有更详细的解释和注释。