IRNet+Bert版本 - Githubissues

489597448 commented 4 years ago

 您好，我在原有IRNet网络上加入Bert后，sketch acc可以上升到81，但SemQL  acc降到38，您觉得是什么原因吗？是因为参数问题吗，学习率，bacth size等吗
期待您的答复。

JasperGuo commented 4 years ago

您好，从您描述的情况来看，column 和 table 的 prediction 下降的幅度应该非常多。是否可以具体地描述如何利用 bert 建模？

489597448 commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示

------------------ 原始邮件 ------------------ 发件人: "JasperGuo"<notifications@github.com>; 发送时间: 2020年1月18日(星期六) 中午11:16 收件人: "microsoft/IRNet"<IRNet@noreply.github.com>; 抄送: "胡晓辉"<489597448@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [microsoft/IRNet] IRNet+Bert版本 (#17)

您好，从您描述的情况来看，column 和 table 的 prediction 下降的幅度应该非常多。是否可以具体地描述如何利用 bert 建模？

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

whuFSN commented 4 years ago

问句+列名+表名拼接时（加入[SEP]），发现有一些样本的长度会大于512，请问您是怎么解决的呢，我看论文中The construction of table representations follows the same way。这个意思是用两个bert，一个是question+column,一个是question+table,还是说是一个bert，采用question+column+table的形式呢？

489597448 commented 4 years ago

问句+列名+表名拼接时（加入[SEP]），发现有一些样本的长度会大于512，请问您是怎么解决的呢，我看论文中The construction of table representations follows the same way。这个意思是用两个bert，一个是question+column,一个是question+table,还是说是一个bert，采用question+column+table的形式呢？

bert长度默认是512，所以对这部分我没有处理

Achronferry commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示 …

论文里对列名和表名是过LSTM而不是取平均，我跑出来dev比给的低两个百分点。同求具体参数

489597448 commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示 …

论文里对列名和表名是过LSTM而不是取平均，我跑出来dev比给的低两个百分点。同求具体参数

跑出来验证集59吗

Achronferry commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示 …

论文里对列名和表名是过LSTM而不是取平均，我跑出来dev比给的低两个百分点。同求具体参数

跑出来验证集59吗

差不多吧，semQL的acc58.几

whuFSN commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示 … 论文里对列名和表名是过LSTM而不是取平均，我跑出来dev比给的低两个百分点。同求具体参数跑出来验证集59吗

差不多吧，semQL的acc58.几

如何处理问句+列名+表名>512的问题呢

489597448 commented 4 years ago

将问句列名表名三部分进行拼接输入bert 然后bert输出分别取出三部分向量，对多个词语的取平均向量表示 … 论文里对列名和表名是过LSTM而不是取平均，我跑出来dev比给的低两个百分点。同求具体参数跑出来验证集59吗

差不多吧，semQL的acc58.几

如何处理问句+列名+表名>512的问题呢

咱加个微信详细说吧

whuFSN commented 4 years ago

超过就截断，怎么获取超出部分的列或者表的表征呢，那超出的列或表不是就不会被选择了吗？

microsoft / IRNet

IRNet+Bert版本 #17