search

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.
https://paddlenlp.readthedocs.io
Apache License 2.0
11.94k stars 2.91k forks source link

paddlenlp大预训练模型比如ernie如何通过paddleslim量化加速后部署到cpu，有没有相关的案例或者代码介绍 #1197

Closed AI-Mart closed 1 year ago

AI-Mart commented 2 years ago

paddlenlp大预训练模型比如ernie如何通过paddleslim量化加速后部署到cpu，有没有相关的案例或者代码介绍

LiuChiachi commented 2 years ago

您好～11月底我们会发布PaddleNLP2.2版本。我们计划在2.2开放BERT通过paddleslim量化加速后部署到cpu/gpu的案例～

AI-Mart commented 2 years ago

https://gitee.com/AI-Mart/PaddleNLP/tree/develop/examples/model_compression/ofa 这个是不是就是BERT通过paddleslim量化加速的案列呢？但是上面有说明说仅支持bert模型，能不能支持其他模型比如ernie-gram

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleNLP" @.>; 发送时间: 2021年10月20日(星期三) 下午2:47 @.>; @.**@.>; 主题: Re: [PaddlePaddle/PaddleNLP] paddlenlp大预训练模型比如ernie如何通过paddleslim量化加速后部署到cpu，有没有相关的案例或者代码介绍 (Issue #1197)

您好～11月底我们会发布PaddleNLP2.2版本。我们计划在2.2开放BERT通过paddleslim量化加速后部署到cpu/gpu的案例～

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

LiuChiachi commented 2 years ago

这个链接是利用裁剪+蒸馏的策略对BERT进行压缩的一个例子，不包含量化。ernie-gram我们还没有测试过，但是和BERT网络结构类似，可以尝试把bert改成ernie-gram试一下～包含量化的例子也是近期会发布

AI-Mart commented 2 years ago

明白，希望这方面paddlenlp能加大力度，因为真正的产业落地，这些是必须要考虑，又要准，又要快。

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleNLP" @.>; 发送时间: 2021年10月20日(星期三) 下午3:38 @.>; @.**@.>; 主题: Re: [PaddlePaddle/PaddleNLP] paddlenlp大预训练模型比如ernie如何通过paddleslim量化加速后部署到cpu，有没有相关的案例或者代码介绍 (Issue #1197)

这个链接是利用裁剪+蒸馏的策略对BERT进行压缩的一个例子，不包含量化。ernie-gram我们还没有测试过，但是和BERT网络结构类似，可以尝试把bert改成ernie-gram试一下～包含量化的例子也是近期会发布

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

LiuChiachi commented 2 years ago

感谢关注！这一块会持续补充完整，有任何建议都欢迎反馈～:)

AI-Mart commented 2 years ago

https://gitee.com/AI-Mart/PaddleNLP/tree/develop/examples/model_compression/ofa

我想问下这个模型压缩案例是针对分类任务的，如果要改成实体识别的任务比如MSRA_NER 代码应该怎么更改 ------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleNLP" @.>; 发送时间: 2021年10月20日(星期三) 下午3:52 @.>; @.**@.>; 主题: Re: [PaddlePaddle/PaddleNLP] paddlenlp大预训练模型比如ernie如何通过paddleslim量化加速后部署到cpu，有没有相关的案例或者代码介绍 (Issue #1197)

感谢关注！这一块会持续补充完整，有任何建议都欢迎反馈～:)

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

LiuChiachi commented 2 years ago

Duplicate of #1210

github-actions[bot] commented 1 year ago

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

github-actions[bot] commented 1 year ago

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。