关于结果问题 - Githubissues

mikezhang95 commented 4 years ago

跑出的结果比较差，想问一下作者的比赛成绩是只用了这一个模型么？模型的参数和脚本里的相同么？

zyc1310517843 commented 4 years ago

你好，你的代码里使用的pytorch_model.bin怎么获取的？

mikezhang95 commented 4 years ago

https://github.com/ymcui/Chinese-BERT-wwm

这里可以下模型

zyc1310517843 commented 4 years ago

https://github.com/ymcui/Chinese-BERT-wwm 这里可以下模型 …

建议你使用哈工大的BERT预训练模型

mikezhang95 commented 4 years ago

非常感谢，我在验证集的exec accuracy在89%左右

zyc1310517843 commented 4 years ago

非常感谢，我在验证集的exec accura我有训练集数据，没有验证集，可以提供一下吗？顺便问一下你有该代码的ppt演讲稿吗？

zyc1310517843 commented 4 years ago

https://github.com/ymcui/Chinese-BERT-wwm 这里可以下模型 …

我有两个问题，一是下载下来的BERT模型如何转换成pytorch_model.bin,二是你用的哪个框架的，torch tf?

mikezhang95 commented 4 years ago

网站上有pytorch版本的模型，可以直接下载

karong0818 commented 4 years ago

你好，我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误，但是我已经在log下面新建了这个文件，但是还是有这个错误，可以请教一下是为什么嘛，您是否也遇到了？

zyc1310517843 commented 4 years ago

路径问题，换个路径改改代码试试

---原始邮件--- 发件人: "karong0818"<notifications@github.com> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<nl2sql@noreply.github.com>; 抄送: "Comment"<comment@noreply.github.com>;"暗夜猎手"<1310517843@qq.com>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7)

你好，我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误，但是我已经在log下面新建了这个文件，但是还是有这个错误，可以请教一下是为什么嘛，您是否也遇到了？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

karong0818 commented 4 years ago

路径问题，换个路径改改代码试试 … ---原始邮件--- 发件人: "karong0818"<notifications@github.com> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<nl2sql@noreply.github.com>; 抄送: "Comment"<comment@noreply.github.com>;"暗夜猎手"<1310517843@qq.com>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7) 你好，我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误，但是我已经在log下面新建了这个文件，但是还是有这个错误，可以请教一下是为什么嘛，您是否也遇到了？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe

路径问题，换个路径改改代码试试 … ---原始邮件--- 发件人: "karong0818"<notifications@github.com> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<nl2sql@noreply.github.com>; 抄送: "Comment"<comment@noreply.github.com>;"暗夜猎手"<1310517843@qq.com>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7) 你好，我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误，但是我已经在log下面新建了这个文件，但是还是有这个错误，可以请教一下是为什么嘛，您是否也遇到了？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

好的谢谢

shufan007 commented 1 year ago

非常感谢，我在验证集的exec accuracy在89%左右

@mikezhang95 , hi,你好，请问大佬，你的exec accuracy 89% 是怎么训练得到的？我用这份代码和数据训练的loss>16, exec accuracy接近0，请问你有遇到这样的情况吗？

mikezhang95 commented 1 year ago

时间有点久远，具体怎么实现的我忘记了。可以换换预训练模型，检查一下训练数据看看

shufan007 commented 1 year ago

时间有点久远，具体怎么实现的我忘记了。可以换换预训练模型，检查一下训练数据看看

预训练模型也换了，训练数据查看也没看出有什么问题，结果还是一样，你当时有做了什么印象深刻的改动吗？

mikezhang95 commented 1 year ago

不好意思不太记得了，但是我当时一开始exec acc也不是0，就是没达到很高。如果是0的话可能还是数据读入哪里有问题

shufan007 commented 1 year ago

不好意思不太记得了，但是我当时一开始exec acc也不是0，就是没达到很高。如果是0的话可能还是数据读入哪里有问题

训练了20个epoch，exec acc只有0.004，Sel-Num 准确率比较大

511| Sel-Num: 0.994, Sel-Col: 0.131, Sel-Agg: 0.380, W-Num: 0.965, W-Col: 0.095, W-Op: 0.036, W-Val: 0.042, W-Rel: 0.965 512| Train loss = 16.388 513| Dev Logic Form Accuracy: 0.000, Execution Accuracy: 0.004 514| Best Logic Form: 0.000 at epoch 1 515| Best Execution: 0.004 at epoch 3 516| Best Mean: 0.002 at epoch 3

longborn commented 1 year ago

不好意思不太记得了，但是我当时一开始exec acc也不是0，就是没达到很高。如果是0的话可能还是数据读入哪里有问题

训练了20个epoch，exec acc只有0.004，Sel-Num 准确率比较大

511| Sel-Num: 0.994, Sel-Col: 0.131, Sel-Agg: 0.380, W-Num: 0.965, W-Col: 0.095, W-Op: 0.036, W-Val: 0.042, W-Rel: 0.965 512| Train loss = 16.388 513| Dev Logic Form Accuracy: 0.000, Execution Accuracy: 0.004 514| Best Logic Form: 0.000 at epoch 1 515| Best Execution: 0.004 at epoch 3 516| Best Mean: 0.002 at epoch 3

你好，我也遇到了这个问题，请问您现在解决了嘛

shuoshuo0 commented 1 year ago

您好我也是这个问题，请问解决了吗？ @shufan007

shuoshuo0 commented 1 year ago

您好，我遇到一些问题，是否可以交流一下？ @mikezhang95 可以加我微信嘛？15531294696

eguilg / nl2sql

关于结果问题 #7