search

bin123apple / MACM

MACM: Utilizing a Multi-Agent System for Condition Mining in Solving Complex Mathematical Problems
https://arxiv.org/abs/2404.04735
55 stars 7 forks source link

希望复现一下结果，可否说明下用了MATH的哪部分数据？ #1

Open LongLiveSocialism opened 3 months ago

bin123apple commented 3 months ago

您好, 我们第一次选用了MATH中每个subset前1/3的数据进行了实验，第二次随机选取了1/3的数据进行了实验。两次结果差别不大，最终汇报的结果是平均值。您有兴趣的话随机从MATH中选取数据点进行测试即可，结果应该差不多。为了减少测量时间，建议多搞几个程序并行跑。如果嫌gpt太烧钱也可以直接拿几个它本身回答错的问题来这儿测试。