我运行bash scripts/run_git_dueefin_withtgg.sh命令时候，报错：读不到json格式对应的文件，然后Output文件里面生成的是pkl格式的文件。老师您在生成这个文件时候在哪里呀，，

[lujiang001108]

[Spico197]

您好，会生成在您图里的这个文件夹内。可以看看详细的输出log，检查是不是中间出了什么问题或者报了什么错误。例如这里会有json文件dump的记录。

[lujiang001108]

![8d57adf0e57f5d0dd52aeaa7b6a2422](https://user-images.githubusercontent.com/61661721/159606374-da97567b-989f-40a9-9cea-d0fd0f1b4049.png 老师好，我昨天用您的PTPCG在DuEEfin数据集运行完结果生成luge_t1_submit_new.json文件，这个文件打开是第二幅图片的样子，这个您代码里面有继续数据后处理成百度需要的结果的代码嘛，目前生成的文件里面包含comments。麻烦老师啦

[Spico197]

可以在这里找到后处理脚本：dueefin_post_process.py，把 to_remove_filepath 和 save_filepath 改下即可。

[lujiang001108]

谢谢老师。现在有一个问题就是：我运行GIT和DOC2EDG模型时候，两个都是提示FileNotFoundError: [Errno 2] No such file or directory: 'Exps/Doc2EDAG_DuEE_fin_with_trigger/Output/dee_eval.dev.pred_span.Doc2EDAG.1.json'，找不到这个json文件的错误，但是运行PTPCG就会生成对应的Json文件，我还是不会改这么错，老师可以帮我抽空看看嘛，谢谢老师回复我上个问题，那个解决啦

[Spico197]

上图中是推理时没有找到文件。确认模型经过训练了吗？可以把训练时的日志发一下。PTPCG和Doc2EDAG、GIT使用的是同一个DEETask，不会出现一个模型有评价的json文件，另一个没有的情况。

[lujiang001108]

Doc2EADG.log GIT.log PTPCG.log

[lujiang001108]

老师好，这是三个模型的日志。PTPCG是没有问题的，然后另外两个都只生成了pkl ，没有生成json。我是用的包含触发词信息的模型

[Spico197]

没在日志中看到任何的报错信息。如果您是使用nohup启动脚本的话，麻烦放下nohup启动的版本。在Doc2EDAG和GIT的日志中均未看到完整的训练过程，不确定是不是异常中断了。另外在日志中是能看到有json文件输出的，如果确定没有的话应该是会报错的，但现在这个版本的日志输出中看不到错误提示。

[lujiang001108]

老师好，这是nohup.out文件 Traceback (most recent call last): File "run_dee_task.py", line 15, in Traceback (most recent call last): File "run_dee_task.py", line 15, in from dee.tasks import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/init.py", line 1, in from .dee_task import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/dee_task.py", line 12, in from dee.tasks import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/init.py", line 1, in from transformers.models.bert.modeling_bert import BertConfig ModuleNotFoundError: No module named 'transformers.models' from .dee_task import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/dee_task.py", line 12, in from transformers.models.bert.modeling_bert import BertConfig ModuleNotFoundError: No module named 'transformers.models' Traceback (most recent call last): File "run_dee_task.py", line 15, in from dee.tasks import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/init.py", line 1, in from .dee_task import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/dee_task.py", line 12, in from transformers.models.bert.modeling_bert import BertConfig ModuleNotFoundError: No module named 'transformers.models' Traceback (most recent call last): File "run_dee_task.py", line 15, in from dee.tasks import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/init.py", line 1, in from .dee_task import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/dee_task.py", line 12, in from transformers.models.bert.modeling_bert import BertConfig ModuleNotFoundError: No module named 'transformers.models' Traceback (most recent call last): File "/data/anaconda3/envs/py37env/lib/python3.7/runpy.py", line 193, in _run_module_as_main "main", mod_spec) File "/data/anaconda3/envs/py37env/lib/python3.7/runpy.py", line 85, in _run_code exec(code, run_globals) File "/data/anaconda3/envs/py37env/lib/python3.7/site-packages/torch/distributed/launch.py", line 260, in main() File "/data/anaconda3/envs/py37env/lib/python3.7/site-packages/torch/distributed/launch.py", line 256, in main cmd=cmd) subprocess.CalledProcessError: Command '['/data/anaconda3/envs/py37env/bin/python', '-u', 'run_dee_task.py', '--local_rank=3', '--task_name', 'Doc2EDAG_DuEE_fin_with_trigger', '--data_dir=Data/DuEEData', '--bert_model=bert-base-chinese', '--model_type=Doc2EDAG', '--cpt_file_name=Doc2EDAG', '--gradient_accumulation_steps=16', '--train_batch_size=64', '--eval_batch_size=2', '--resume_latest_cpt=False', '--num_train_epochs=100', '--run_mode=luge_with_trigger', '--event_type_template=luge_with_trigger', '--skip_train=False', '--load_dev=True', '--load_test=True', '--load_inference=False', '--inference_epoch=-1', '--run_inference=False', '--inference_dump_filepath=doc2edag_duee_fin_with_trigger.json', '--skip_train=False', '--parallel_decorate']' returned non-zero exit status 1.

---

Setting OMP_NUM_THREADS environment variable for each process to be 1 in default, to avoid your system being overloaded, please further tune the variable for optimal performance in your application as needed.

---

Traceback (most recent call last): File "run_dee_task.py", line 15, in from dee.tasks import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/init.py", line 1, in from .dee_task import DEETask, DEETaskSetting File "/data/newspace/jiang/DoCEE/dee/tasks/dee_task.py", line 12, in from transformers.models.bert.modeling_bert import BertConfig ModuleNotFoundError: No module named 'transformers.models'

[lujiang001108]

nohup.log

[lujiang001108]

这个也能正常显示

[Spico197]

nohup里报错的问题是没有安装最新版本的transformers库，可以pip install -U transformers升级一下。

[lujiang001108]

老师好，我重新安装了transformers库，GIT和Doc2EDAG两个模型都无法训练，无法生成对应的json格式文件，老师方便帮我看看嘛，我把我邮箱发给老师。lujiangsxu@163.com

[lujiang001108]

我的运行命令是：bash scripts/run_doc2edag_dueefin_withtgg.sh 这是两个日志 [Uploading log.log…]() nohup.log

[Spico197]

图中的错误不全，前面的错误信息没有显示，后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面，应该是没上传，第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试，按当前版本代码训练确实没什么问题，请检查下您的环境，根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。

[lujiang001108]

老师好，我似乎找到了问题所在，之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数，所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中，没有下方红色箭头的这两个函数，可以给我单独发一份包含这两个函数的脚本嘛。 还有一个问题想请教老师。bert路径您之前是您的路径，这个需要我改成自己的吗？您的模型中用到bert预训练了吗？ 感谢老师答疑，万分感谢您!

在 2022-03-25 16:44:03，"Tong Zhu（朱桐）" @.***> 写道：

图中的错误不全，前面的错误信息没有显示，后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面，应该是没上传，第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试，按当前版本代码训练确实没什么问题，请检查下您的环境，根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[Spico197]

• 看不到您发的图片，似乎没有正常发送。
• bert的路径需要改成您本地的bert目录。模型中没有用到bert预训练，只是用了bert的tokenizer，所以只要保证您bert目录下有vocab.txt文件即可。当然我们也提供了使用bert作为预训练模型微调的方案，需要您浏览下源码，对参数设置做些调整。

[lujiang001108]

老师好，我似乎找到了问题所在，之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数，所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中，没有下方红色箭头的这两个函数，可以给我单独发一份包含这两个函数的脚本嘛。 还有一个问题想请教老师。bert路径您之前是您的路径，这个需要我改成自己的吗？您的模型中用到bert预训练了吗？ 感谢老师答疑，万分感谢您!

在 2022-03-25 16:44:03，"Tong Zhu（朱桐）" @.***> 写道：

图中的错误不全，前面的错误信息没有显示，后面的这些提示无法定位问题。 您的这两个log第一个链接是个页面，应该是没上传，第二个log显示的还是transformers库版本的问题。 我又在本地做了下测试，按当前版本代码训练确实没什么问题，请检查下您的环境，根据错误提示定位具体的问题。训练时可以先把inference部分的shell命令注释掉。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[Spico197]

您把相同的内容发了两遍，但还是没有收到图片👀

[lujiang001108]

老师好，我似乎找到了问题所在，之前没有Json格式文件是因为我注释掉了dee_task.py中的这两个函数，所有无法生成对应的Json格式文件。然后您的helper文件夹下的dee.py脚本中，没有下方红色箭头的这两个函数，可以给我单独发一份包含这两个函数的脚本嘛。 还有一个问题想请教老师。bert路径您之前是您的路径，这个需要我改成自己的吗？您的模型中用到bert预训练了吗？ 感谢老师答疑，万分感谢您!

[Spico197]

图片已收悉。您本地的代码版本似乎落后于当前repo的main分支。这两个类您直接注释掉即可，建议更新至最新版的代码。关于bert路径的问题请见上面的回复。

[lujiang001108]

老师好，我更新了最新的代码，现在只有GIT运行时，没有生成对应的./Exps/GIT_DuEE_fin/GITModel.task_setting.json'文件。

[Spico197]

您截的图完全无法定位问题所在，我也无法复现您的错误。请仔细检查训练过程中的日志和输出的信息。不论是PTPCG、Doc2EDAG还是GIT，都是在 run_dee_task.py 的第272行保存task_setting文件，除非根本就没有开始训练。

https://github.com/Spico197/DocEE/blob/1fd933f817f7c48b778fa6f2d0c4fa8a2648f58d/run_dee_task.py#L272