search

AlibabaResearch / DAMO-ConvAI

DAMO-ConvAI: The official repository which contains the codebase for Alibaba DAMO Conversational AI.
MIT License
1.08k stars 176 forks source link

python gen_sel.py步骤 #105

Closed SXxinxiaosong closed 6 months ago

SXxinxiaosong commented 7 months ago

请问python gen_sel.py步骤中出现的以下问题中的textinput文件夹和bool-glminput.jsonl是在哪一步生成的？ FileNotFoundError: [Errno 2] No such file or directory: './textinput/bool-glminput.jsonl'

SXxinxiaosong commented 7 months ago

请问bash ./cyclekd.sh ./ll ${train batch size} ${eval batch size} ${epoch}步骤出现了问题如下：FileNotFoundError: Directory ./sel_file/boolval-retrak.hf not found，其中的sel_file/boolval-retrak.hf是在哪一步生成的呢？

huybery commented 7 months ago

请标注是哪个项目。

SXxinxiaosong commented 7 months ago

你好，是oltqa项目。

debby1103 commented 7 months ago

"textinput文件夹和bool-glminput.jsonl是在哪一步生成的" -- textinput文件夹和其中的文件，是我们提供的GLM prompt文件(#89)，即partial-textinput.aa, partial-textinput.ab，由于空间限制拆分成了两部分，可以通过

cat part* >textinput.tar.gz
tar -zxvf textinput.tar.gz

合并解压。 我们另外提供了GLM-10B对应prompt生成的输出（plmresource.tar.gz），希望带来帮助。

"其中的sel_file/boolval-retrak.hf是在哪一步生成的呢" -- 通过执行"python gen_seldev.py"生成，即retriever/re-ranker的验证样本。