search

AlibabaResearch / DAMO-ConvAI

DAMO-ConvAI: The official repository which contains the codebase for Alibaba DAMO Conversational AI.
MIT License
1.08k stars 176 forks source link

Dater项目复现中的几个问题 #107

Closed Heaven-zhw closed 6 months ago

Heaven-zhw commented 7 months ago

1.请问dater项目里给的run_tabfact.sh是对应论文里的Codex with Datar方法吗？step1供下载的文件中提供的中间结果也是Codex with Dater方法得到的吗？ 2.请问项目中是否有提供PASTA with Dater的代码？如果没有该如何实现？感觉PASTA不能在few-shot条件下完成这些子任务 3.在PASTA with Dater中是否还用到了self-consistence decoding strategy？ 谢谢！

yeyunhu commented 7 months ago

您好，感谢您对我们工作的关注。

  1. Q： 请问datar项目里给的run_tabfact.sh是对应论文里的Codex with Datar方法吗？ A： 是的。 Q： step1供下载的文件中提供的中间结果也是Codex with Datar方法得到的吗？ A： 是的。step1包含了 Codex with Datar 各个步骤的prompt和返回结果。

  2. Q： 请问项目中是否有提供PASTA with Datar的代码？如果没有该如何实现？感觉PASTA不能在few-shot条件下完成这些子 任务。 A： PASTA with Dater 只是最后一步推理是使用 PASTA 模型。PASTA 模型训练可见 https://github.com/ruc-datalab/PASTA

  3. Q： 在PASTA with Datar中是否还用到了self-consistence decoding strategy？ A： 在PASTA with Datar中。最后一步推理并未使用。大模型做的前置子任务使用 self-consistence decoding strategy 以用作结果合并。

Heaven-zhw commented 7 months ago

您好，感谢您对我们工作的关注。

  1. Q： 请问datar项目里给的run_tabfact.sh是对应论文里的Codex with Datar方法吗？ A： 是的。 Q： step1供下载的文件中提供的中间结果也是Codex with Datar方法得到的吗？ A： 是的。step1包含了 Codex with Datar 各个步骤的prompt和返回结果。
  2. Q： 请问项目中是否有提供PASTA with Datar的代码？如果没有该如何实现？感觉PASTA不能在few-shot条件下完成这些子 任务。 A： PASTA with Dater 只是最后一步推理是使用 PASTA 模型。PASTA 模型训练可见 https://github.com/ruc-datalab/PASTA
  3. Q： 在PASTA with Datar中是否还用到了self-consistence decoding strategy？ A： 在PASTA with Datar中。最后一步推理并未使用。大模型做的前置子任务使用 self-consistence decoding strategy 以用作结果合并。

谢谢解答。PASTA的原输入是[问题] + "" + [表格]，想问一下PASTA with Datar在最后一步推理时，子问题和原问题如何输入到PASTA中？还想问下PASTA最大输入长度设置的是多少？

yeyunhu commented 6 months ago

谢谢解答。PASTA的原输入是[问题] + "" + [表格]，想问一下PASTA with Datar在最后一步推理时，子问题和原问题如何输入到PASTA中？还想问下PASTA最大输入长度设置的是多少？

  1. 我们按照PASTA论文中的输入格式。子问题放在表格中。最大输入长度按照PASTA的设置。