lancopku / text-autoaugment

[EMNLP 2021] Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification
https://arxiv.org/abs/2109.00523
MIT License
125 stars 16 forks source link

如何复现代码? #8

Closed javanlu123 closed 2 years ago

javanlu123 commented 2 years ago

作者您好!我是一名在读硕士研究生,对您的论文很感兴趣,想复现论文代码进行研究,在复现过程中遇到一些阻力,恳请作者解答一下我的一些疑问。 1.在论文中您提到用的实验环境为8张Tesla P40,我的实验环境为:显卡 1080 * 2,显存 16G,cuda 版本10.2,并且参照您的readme文档配置好实验环境了,这样的实验配置能否跑动您的代码? 2.readme文档中提到复现代码主要是运行 reproduce_experiment.py,但是在运行到该第46行代码的时候报错,提示taa/models 文件下并没有所需的文件,我尝试在search.py中去运行生成所需的policy文件,但是不知道从何切入,对于整个跑通调试流程逻辑有点混乱,如果我要完整复现结果,应该是以怎样的步骤、流程去跑通代码程序?

在代码这方面我还是一个小白,非常感谢作者能够在百忙之中给我解答!

RenShuhuai-Andy commented 2 years ago

你好,感谢关注。

  1. 应该是没问题的。但需要重新设置一下configfile,如这里中的num_gpus为2,同时在这种配置下搜200轮(num_search=200)可能会很耗时,可以酌情减小。
  2. 请问是运行哪个脚本出现的错误?script/huggingface_lowresource.sh还是huggingface_imbalanced.sh?请贴出完整的运行命令和报错信息截图以便分析,谢谢。
javanlu123 commented 2 years ago

你好,感谢关注。

  1. 应该是没问题的。但需要重新设置一下configfile,如这里中的num_gpus为2,同时在这种配置下搜200轮(num_search=200)可能会很耗时,可以酌情减小。
  2. 请问是运行哪个脚本出现的错误?script/huggingface_lowresource.sh还是huggingface_imbalanced.sh?请贴出完整的运行命令和报错信息截图以便分析,谢谢。

运行了 reproduce_experiment.py文件,运行指令为 python reproduce_experiment.py -c ../taa/confs/bert_imdb_example.yaml yaml文件如下: image

报错信息如下: image image

请问是我的哪些配置没写对?还是硬件环境不行?

RenShuhuai-Andy commented 2 years ago

你好,你的配置应该是没问题的,看输出也成功搜索了至少5个trials。 请问那4个出错的trials给的报错信息具体是什么,目前只有error的状态无法分析,可以查看一下对应的error file?以及你ray的版本是哪一个呢?