search

LINs-lab / DynMoE

[Preprint] Dynamic Mixture of Experts: An Auto-Tuning Approach for Efficient Transformer Models
https://arxiv.org/abs/2405.14297
Apache License 2.0
50 stars 9 forks source link

GMoE实验的Evaluation #1

Closed sharkdrop closed 1 month ago

sharkdrop commented 2 months ago

作者您好，最近我在尝试复现GMoE的实验结果，按照您提供的run_scripts，我在office_home上跑了四个test_env和3个seed的实验，但在evaluation上遇到了问题。

我尝试按照您提供的python3 -m domainbed.scripts.collect_results --input_dir=${output_dir}来进行evaluation，但得到的输出文件是

1727071225635

是哪里出了问题吗

QAQdev commented 2 months ago

这个看起来像是--input_dir没有设置正确，可以提供一下您GMoE输出checkpoint的目录结构吗？

sharkdrop commented 2 months ago

这是目录结构，input_dir设置为./output-vanilla： image

得到的result.txt为： image

gyxxyg commented 2 months ago

可以尝试把input_dir设置为./output-vanilla/PACS。具体使用方法可以参考DomainBed，GMoE的代码主要是基于DomainBed修改的，evaluation部分是一致的。

sharkdrop commented 2 months ago

可以尝试把input_dir设置为./output-vanilla/PACS。具体使用方法可以参考DomainBed，GMoE的代码主要是基于DomainBed修改的，evaluation部分是一致的。

感谢，已经可以正常进行evaluation了，不知道能否提供一下虚拟环境的yaml文件，想对齐一下虚拟环境的配置。