Closed lujiang001108 closed 2 years ago
您好,会生成在您图里的这个文件夹内。可以看看详细的输出log,检查是不是中间出了什么问题或者报了什么错误。例如这里会有json文件dump的记录。
![8d57adf0e57f5d0dd52aeaa7b6a2422](https://user-images.githubusercontent.com/61661721/159606374-da97567b-989f-40a9-9cea-d0fd0f1b4049.png 老师好,我昨天用您的PTPCG在DuEEfin数据集运行完结果生成luge_t1_submit_new.json文件,这个文件打开是第二幅图片的样子,这个您代码里面有继续数据后处理成百度需要的结果的代码嘛,目前生成的文件里面包含comments。麻烦老师啦
可以在这里找到后处理脚本:dueefin_post_process.py,把 to_remove_filepath
和 save_filepath
改下即可。
谢谢老师。现在有一个问题就是:我运行GIT和DOC2EDG模型时候,两个都是提示FileNotFoundError: [Errno 2] No such file or directory: 'Exps/Doc2EDAG_DuEE_fin_with_trigger/Output/dee_eval.dev.pred_span.Doc2EDAG.1.json',找不到这个json文件的错误,但是运行PTPCG就会生成对应的Json文件,我还是不会改这么错,老师可以帮我抽空看看嘛,谢谢老师回复我上个问题,那个解决啦
上图中是推理时没有找到文件。确认模型经过训练了吗?可以把训练时的日志发一下。PTPCG和Doc2EDAG、GIT使用的是同一个DEETask,不会出现一个模型有评价的json文件,另一个没有的情况。
老师好,这是三个模型的日志。PTPCG是没有问题的,然后另外两个都只生成了pkl ,没有生成json。我是用的包含触发词信息的模型
没在日志中看到任何的报错信息。如果您是使用nohup启动脚本的话,麻烦放下nohup启动的版本。在Doc2EDAG和GIT的日志中均未看到完整的训练过程,不确定是不是异常中断了。另外在日志中是能看到有json文件输出的,如果确定没有的话应该是会报错的,但现在这个版本的日志输出中看不到错误提示。
老师好,这是nohup.out文件
Traceback (most recent call last):
File "run_dee_task.py", line 15, in
Setting OMP_NUM_THREADS environment variable for each process to be 1 in default, to avoid your system being overloaded, please further tune the variable for optimal performance in your application as needed.
Traceback (most recent call last):
File "run_dee_task.py", line 15, in
这个也能正常显示
nohup里报错的问题是没有安装最新版本的transformers库,可以pip install -U transformers
升级一下。
老师好,我重新安装了transformers库,GIT和Doc2EDAG两个模型都无法训练,无法生成对应的json格式文件,老师方便帮我看看嘛,我把我邮箱发给老师。lujiangsxu@163.com
我的运行命令是:bash scripts/run_doc2edag_dueefin_withtgg.sh 这是两个日志 [Uploading log.log…]() nohup.log
图中的错误不全,前面的错误信息没有显示,后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面,应该是没上传,第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试,按当前版本代码训练确实没什么问题,请检查下您的环境,根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。
老师好,我似乎找到了问题所在,之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数,所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中,没有下方红色箭头的这两个函数,可以给我单独发一份包含这两个函数的脚本嘛。 还有一个问题想请教老师。bert路径您之前是您的路径,这个需要我改成自己的吗?您的模型中用到bert预训练了吗? 感谢老师答疑,万分感谢您!
在 2022-03-25 16:44:03,"Tong Zhu(朱桐)" @.***> 写道:
图中的错误不全,前面的错误信息没有显示,后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面,应该是没上传,第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试,按当前版本代码训练确实没什么问题,请检查下您的环境,根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
vocab.txt
文件即可。当然我们也提供了使用bert作为预训练模型微调的方案,需要您浏览下源码,对参数设置做些调整。老师好,我似乎找到了问题所在,之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数,所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中,没有下方红色箭头的这两个函数,可以给我单独发一份包含这两个函数的脚本嘛。 还有一个问题想请教老师。bert路径您之前是您的路径,这个需要我改成自己的吗?您的模型中用到bert预训练了吗? 感谢老师答疑,万分感谢您!
在 2022-03-25 16:44:03,"Tong Zhu(朱桐)" @.***> 写道:
图中的错误不全,前面的错误信息没有显示,后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面,应该是没上传,第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试,按当前版本代码训练确实没什么问题,请检查下您的环境,根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
您把相同的内容发了两遍,但还是没有收到图片👀
老师好,我似乎找到了问题所在,之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数,所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中,没有下方红色箭头的这两个函数,可以给我单独发一份包含这两个函数的脚本嘛。
还有一个问题想请教老师。bert路径您之前是您的路径,这个需要我改成自己的吗?您的模型中用到bert预训练了吗?
感谢老师答疑,万分感谢您!
图片已收悉。您本地的代码版本似乎落后于当前repo的main分支。这两个类您直接注释掉即可,建议更新至最新版的代码。关于bert路径的问题请见上面的回复。
老师好,我更新了最新的代码,现在只有GIT运行时,没有生成对应的./Exps/GIT_DuEE_fin/GITModel.task_setting.json'文件。
您截的图完全无法定位问题所在,我也无法复现您的错误。请仔细检查训练过程中的日志和输出的信息。不论是PTPCG、Doc2EDAG还是GIT,都是在 run_dee_task.py
的第272行保存task_setting文件,除非根本就没有开始训练。
https://github.com/Spico197/DocEE/blob/1fd933f817f7c48b778fa6f2d0c4fa8a2648f58d/run_dee_task.py#L272