search

lipiji / SongNet

Code for ACL 2020 paper "Rigid Formats Controlled Text Generation"：https://www.aclweb.org/anthology/2020.acl-main.68/
MIT License
230 stars 40 forks source link

请问该怎样理解transformer模块中的incremental_state？ #11

Closed Imposingapple closed 3 years ago

Imposingapple commented 3 years ago

您好，近日想做一些关于AI写诗方面的研究，研读了您的代码。但是在读到您的transformer模块时，不太理解您的incremental_state的实现，因为之前在其他论文或transformer的代码中并没有看到过类似的实现（可能也有我看代码看的不很多的缘故），想询问一下您，您的incremental state与其中的'bidx'项该怎么样进行理解？ 这个transformer实现是不是一种原来transformer加速实现的方法，有没有相应的论文或这方面的说明？求指教！

谢谢！

lipiji commented 3 years ago

是的，增量解码，从左到右依次解码的过程中，左边的就不重复计算了。不过目前在v100的卡上发现提速已经不明显了。

lipiji commented 3 years ago

@Imposingapple 这个框架用来写诗、词、对联、歌词等有格式的文本，甚至是自由文本中你要限制字数等需求，还是非常有用并且好用的，建议试一试。

Imposingapple commented 3 years ago

我觉得您的论文在处理韵律的想法非常有意思，非常棒的工作！我是看到了您的论文，加之自己对中国传统文化的兴趣，方才决定我毕业设计的题目在研究诗词上。 请问有没有关于增量解码的相关论文？看起来还是有一点点懵圈（tcl） 请问方不方便加QQ/微信/邮箱联系（您的邮箱是pijili@tecent.com嘛？）

lipiji commented 3 years ago

@Imposingapple 可以给我发邮件微信id然后我加你微信就好了。

Imposingapple commented 3 years ago

前几天给您发了邮件，您还没回复，应该是太忙了吧！要不还是就在这边交流！ 我想了解下增量解码您的实现是否是基于哪篇论文的？（看代码还是有点没理解，想看看论文），谢谢！ 另最近做了一个宋词的分类数据集的整理https://github.com/Imposingapple/scrapy_poetry，包括2000首词，是古诗文网的，如果有需要可以直接取用！