search

GraphPKU / PiSSA

PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models(NeurIPS 2024 Spotlight)
https://arxiv.org/abs/2404.02948
261 stars 9 forks source link

如何使用CodeFeedBack数据集进行微调的？ #17

Closed Peroplex closed 4 months ago

Peroplex commented 4 months ago

PiSSA论文里有提到使用CodeFeedBack数据集进行微调测试human-eval和mbpp数据集，但是我在项目里没有看到相关内容，想知道贵团队是如何对codefeedback数据集进行预处理微调训练的

fxmeng commented 4 months ago

我们使用的训练数据可以从这里获得： https://huggingface.co/collections/fxmeng/pissa-datasets-661ce700721235e542a5d7a8 测试代码基于这个项目： https://github.com/evalplus/evalplus