search

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.
https://paddlenlp.readthedocs.io
Apache License 2.0
12.17k stars 2.95k forks source link

[Question]: 关于最新更新UIE有关于化训练及 INT8 精度推理有一些疑问？ #3886

Closed dingidng closed 2 years ago

dingidng commented 2 years ago

请提出你的问题

🏃[通用信息抽取 UIE 能力升级]支持量化训练及 INT8 精度推理，进一步提升 UIE 推理速度； 1.Trainer API 对模型进行微调，里面所有涉及的超参数调参都适用于uie模型嘛？ 2.对int8精度推理： 文档注释：use_fp16: FP32 模型是否使用 FP16 进行加速，使用 FP32、INT8 推理时不需要设置，默认关闭。 看了一下没有一个入参是关于int8设置的，是默认开启吗？ 3.对于量化训练，看了一下设置参数入参好像没有涉及到量化训练的样子，有类似量化训练的文档说明吗？ 4.对于模型快速服务化部署SimpleServing，是否数据蒸馏后的模型也可以适用呀 感谢大佬解答

LiuChiachi commented 2 years ago

1.我理解learning_rate是UIE推荐的参数，其他的参数是不是要结合任务和数据来看，请教@linjieccc 2.int8和fp32模型不需要设置的，传入的模型是量化后的模型，就会是int8的推理 3.很多训练的参数可以被量化训练使用，比如num_train_epochs, learning_rate、per_device_train_batch_size之类的，文档可以查看https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/compression.md 4.@linjieccc

linjieccc commented 2 years ago

Hi，@dingidng

learning_rate UIE中推荐用1e-5，其他超参配置目前用的是Trainer中的默认值

SimpleServing适用于封闭域蒸馏后的模型，最近我们会给出部署的例子

dingidng commented 2 years ago

感谢