PaddleNLP的模型压缩，MiniLMv2，可以自定义教师模型和学生模型吗？在哪可以看到相关文档？

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.

https://paddlenlp.readthedocs.io

Apache License 2.0

12.05k stars 2.93k forks source link

PaddleNLP的模型压缩，MiniLMv2，可以自定义教师模型和学生模型吗？在哪可以看到相关文档？ #1296

Closed wangqianyi2017 closed 1 year ago

wangqianyi2017 commented 2 years ago

欢迎您反馈PaddleNLP使用问题，非常感谢您对PaddleNLP的贡献！在留下您的问题时，辛苦您同步提供如下信息：

版本、环境信息 1）PaddleNLP和PaddlePaddle版本：请提供您的PaddleNLP和PaddlePaddle版本号，例如PaddleNLP 2.0.4，PaddlePaddle2.1.1 2）系统环境：请您描述系统类型，例如Linux/Windows/MacOS/，python版本
复现信息：如为报错，请给出复现环境、复现步骤

LiuChiachi commented 2 years ago

您好～ https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/model_compression/minilmv2，这里的readme有对参数的释义：这里的教师、学生模型，都可以是模型名（如bert-base-chinese）或者自己的模型路径，不过现在代码里还不支持选择除了bert、tinybert之外的model_type，如果有需要，可以在这里仿照bert添加更多的model_type即可：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/examples/model_compression/minilmv2/general_distill.py#L35-L38

github-actions[bot] commented 1 year ago

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

github-actions[bot] commented 1 year ago

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。