search

wind91725 / gpt2-ml-finetune-

根据gpt2-ml中文模型finetune自己的数据集
Apache License 2.0
43 stars 15 forks source link

可以给一个输入数据的例子吗，就是 pre_data.py的输入文件格式 #10

Open EiraZhang opened 4 years ago

wind91725 commented 4 years ago

只要是文本格式的数据都行，文章、书籍啥的都行， 但最好处理下，比如删除一些url之类，尽量让数据干净些

huangdacheng commented 4 years ago

如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？

wind91725 commented 4 years ago

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优

在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道：

如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

huangdacheng commented 4 years ago

如果需要喂给它的是一问一答，也不需要做分隔吗？

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

huangdacheng commented 4 years ago

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

谢谢您的推荐，我也看看，Thank you

wind91725 commented 4 years ago

问答数据 每条数据最好弄成 quesion&answer\n 这种形式 中间用个特殊字符隔开 然后预测的时候 以quesion&输入

在 2020-06-12 18:05:18，"huangdacheng" notifications@github.com 写道：

如果需要喂给它的是一问一答，也不需要做分隔吗？

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

huangdacheng commented 4 years ago

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

Guyu 的代码在最后生成句子的时候 ，使用的概率sample，这种方式好吗？

wind91725 commented 4 years ago

可以的 Guyu的生成策略有两个 一个是topk 一个是topp 这两个就是gpt2常用的两种生成策略

在 2020-06-16 15:23:10，"huangdacheng" notifications@github.com 写道：

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

Guyu 的代码在最后生成句子的时候 ，使用的概率sample，这种方式好吗？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

huangdacheng commented 3 years ago

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

您好，我看Guyu代码里的 的训练， 只是预测X 句子最后一个字的？