search

Yifan-Song793 / ETO

Trial and Error: Exploration-Based Trajectory Optimization of LLM Agents (ACL 2024 Main Conference)
https://arxiv.org/abs/2403.02502
96 stars 11 forks source link

Alfworld 正负样本 #5

Closed swt-user closed 5 months ago

swt-user commented 5 months ago

非常感谢你们工作的开源！ 当我们复现Alfworld的结果时，我们遇到了一些问题，无法复现出论文中的结果。我们发现在论文构造正负样本对时，会对负样本进行轮数cut。我们发现进行了这样的操作后，效果会下降，不进行该操作效果会更好。 image 想请教一下，你们实现论文中汇报的结果时采用的是哪一种策略。

Yifan-Song793 commented 5 months ago

感谢你对我们工作的关注！ALFWorld 在构建正负样本对时无需进行负样本轮数 cut。论文报告的结果对应的原始代码只对 ScienceWorld 进行了轮数 cut。

swt-user commented 5 months ago

请问在ScienceWorld上进行轮数cut影响大吗，您有相关的消融实验数据可以借鉴嘛~

Yifan-Song793 commented 5 months ago

抱歉，我们没有做过相关消融实验，ScienceWorld 进行轮数 cut 的原因是个别任务所需轮数很多（如 task-1-boil 和 task-10-measure-melting-point-(known-substance)），且最终的 action 往往是重复若干个动作检查状态（如温度、性状），如果不进行负样本 cut，则会导致正负样本之间轮数差过大