Questions about RMSD metric reported in paper

THUNLP-MT / MEAN

This repo contains the codes for our paper Conditional Antibody Design as 3D Equivariant Graph Translation.

https://arxiv.org/abs/2208.06073

MIT License

86 stars 12 forks source link

Questions about RMSD metric reported in paper #18

Closed ABOWLofFish closed 7 months ago

ABOWLofFish commented 7 months ago

您好，在follow Wengong Jin的setting的baseline中，我发现论文中RMSD的结果和RefineGNN论文汇报的结果并不一致，请问是由于在同样的数据集分割和训练设置下复现后结果出现了误差吗？

kxz18 commented 7 months ago

首先使用的数据不一样，MEAN中同时考虑了抗原和轻链，所以处理数据时只会留下完整的complex，而refineGNN原论文只建模一条重链，数据量会大一些。其次MEAN中做了十折交叉验证来避免数据量较小带来的结果不稳定的影响。最后MEAN论文中也提供了在refineGNN的数据集和split下的结果，只是在测试集中保留了完整complex，refineGNN的效果和原论文汇报的差不多。

ABOWLofFish commented 7 months ago

谢谢，我现在明白了，非常感谢您的回答~