New Features

Pipelines

新增 Pipelines支持的RocketQA模型的Benchmarks。 https://github.com/PaddlePaddle/PaddleNLP/pull/3160
Pipelines支持Docker和Docker-compose两种方式一键部署。 https://github.com/PaddlePaddle/PaddleNLP/pull/3135
新增智能问答，语义索引，FAQ智能问答的教程。 https://github.com/PaddlePaddle/PaddleNLP/pull/3092 https://github.com/PaddlePaddle/PaddleNLP/pull/3151
RocketQA的CrossEncoder支持Taskflow一键调用。 https://github.com/PaddlePaddle/PaddleNLP/pull/3003
新增FAQ文档，模型介绍文档，优化Windows的安装文档。 https://github.com/PaddlePaddle/PaddleNLP/pull/3186

新增CodeGen代码生成模型。https://github.com/PaddlePaddle/PaddleNLP/pull/2641
CodeGen支持Taskflow一键调用。 https://github.com/PaddlePaddle/PaddleNLP/pull/2754
CodeGen支持FasterGeneration高性能推理，可通过GitHub Copilot插件调用，支持自定义数据训练。https://github.com/PaddlePaddle/PaddleNLP/pull/3017

新增Dalle-mini文图生成模型。https://github.com/PaddlePaddle/PaddleNLP/pull/2917
新增阿里EasyNLP中的文图文图生成模型。https://github.com/PaddlePaddle/PaddleNLP/pull/2968
将Dalle-mini和阿里EasyNLP的文图生成模型接入到TaskFLow。https://github.com/PaddlePaddle/PaddleNLP/pull/2988 、 https://github.com/PaddlePaddle/PaddleNLP/pull/3040 。
新增CLIP模型、CLIP+DiscoDiffusion文图生成以及CLIP+StableDiffusion代码。https://github.com/PaddlePaddle/PaddleNLP/pull/3072
新增Ernie-ViL2.0模型以及Ernie-ViL2.0+DiscoDiffusion文图生成代码。https://github.com/PaddlePaddle/PaddleNLP/pull/3118
将CLIP+DiscoDiffusion、CLIP+StableDiffusion、Ernie-ViL2.0+DiscoDiffusion文图生成模型接入到TaskFlow。 https://github.com/PaddlePaddle/PaddleNLP/pull/3198

新增基于预训练模型微调的文本分类多分类、多标签、层次分类的全流程方案。https://github.com/PaddlePaddle/PaddleNLP/pull/3087
文本分类预训练模型微调支持多语言预训练模型ERNIE M https://github.com/PaddlePaddle/PaddleNLP/pull/3184
新增提示学习（小样本）的文本分类多分类、多标签、层次分类方案。https://github.com/PaddlePaddle/PaddleNLP/pull/3104
新增基于语义索引的多分类、层次分类方案。https://github.com/PaddlePaddle/PaddleNLP/pull/3180
新增数据增强API https://github.com/PaddlePaddle/PaddleNLP/pull/2956
新增分析（analysis）模块，分析模型表现并提供稀疏数据筛选、脏数据清洗、数据增强三种调优策略 https://github.com/PaddlePaddle/PaddleNLP/pull/3011

新增Prompt Learning训练框架，支持PET、P-Tuning、RGL等经典模型的快速实现。#2894

新增RocketQA的CrossEncoder模型，并支持加载到pipelines中。https://github.com/PaddlePaddle/PaddleNLP/pull/3196
Neural Search的召回模型换成基于ERNIE3.0的rocketqa模型，并支持加载到Pipelines中。 https://github.com/PaddlePaddle/PaddleNLP/pull/3172

新增多语言模型UIE-M-Base和UIE-M-Large，支持中英文混合抽取及Taskflow一键调用。#3192 新增基于封闭域模型GlobalPointer的UIE数据蒸馏方案，支持Taskflow一键部署。#3136

新增模型压缩 API。模型压缩 API 适用于 ERNIE 类模型的模型压缩，目前提供基于 DynaBERT 的裁剪和静态离线量化功能，已经在文本分类、语义匹配、序列标注、阅读理解等任务上进行验证，基本达到精度无损。 https://github.com/PaddlePaddle/PaddleNLP/pull/2777

Transformer 支持自定义激活函数 https://github.com/PaddlePaddle/PaddleNLP/pull/3158
Generation API 支持自定义 logits_processor https://github.com/PaddlePaddle/PaddleNLP/pull/3018
Generation API 支持 get_decoder_start_token_id() 方法获取模型 decoder_start_token_id https://github.com/PaddlePaddle/PaddleNLP/pull/3018
BART 模型支持 get_input_embeddings() 和 set_input_embeddings() 方法获取 embeddings https://github.com/PaddlePaddle/PaddleNLP/pull/3018
GPT 模型支持 get_vocab() 方法获取词表 https://github.com/PaddlePaddle/PaddleNLP/pull/3018
GPT 模型支持 0/1 attention mask 输入 https://github.com/PaddlePaddle/PaddleNLP/pull/3133
GPT 模型支持 add bos token 功能 https://github.com/PaddlePaddle/PaddleNLP/pull/3133
FasterGeneration 预测库联编支持 onnx 依赖引入 https://github.com/PaddlePaddle/PaddleNLP/pull/2463

新增文本摘要Application，打通高性能推理部署，支持TaskFlow一键调用。https://github.com/PaddlePaddle/PaddleNLP/pull/2971

批量新增模型model_max_input_size配置字段 https://github.com/PaddlePaddle/PaddleNLP/pull/3127
修复FasterGeneration部分模型Sampling解码出core的问题。https://github.com/PaddlePaddle/PaddleNLP/pull/2561
修复 UNIMOText 在不使用加速特性情况下生成出错问题 https://github.com/PaddlePaddle/PaddleNLP/pull/2877
修复 FasterGeneration 在基于采样解码策略下性能不稳定的问题 https://github.com/PaddlePaddle/PaddleNLP/pull/2910
修复 BART tokenizer 获取 bos_token_id 出错问题 https://github.com/PaddlePaddle/PaddleNLP/pull/3058
修复 BART tokenizer 无法设置 model_max_length 问题 https://github.com/PaddlePaddle/PaddleNLP/pull/3018
修复 Taskflow的文本相似度在Windows上dtype引起的预测失败问题 https://github.com/PaddlePaddle/PaddleNLP/pull/3188
修复offset-mapping 针对于不同 tokenizer 的支持问题 https://github.com/PaddlePaddle/PaddleNLP/pull/3858
修复 readthedocs 官网对于 paddle 版本依赖的问题 https://github.com/PaddlePaddle/PaddleNLP/pull/3859
修复 tokenzier 多进程下载的 bug https://github.com/PaddlePaddle/PaddleNLP/pull/3965
修复 roberta Configuration 针对于基类名称出错的问题 https://github.com/PaddlePaddle/PaddleNLP/pull/4036

支持FasterGPT的word_embeddings 和 lm_head.decoder_weight的权重不共享。https://github.com/PaddlePaddle/PaddleNLP/pull/2953
重构RoFormer，新增RoFormerForCausalLM类，支持roformer-sim相似句生成。https://github.com/PaddlePaddle/PaddleNLP/pull/3049
更新Ernie模型，当type_vocab_size=0时，表示不使用token_type_id。 https://github.com/PaddlePaddle/PaddleNLP/pull/3075
新增Ernie-Tiny模型的benchmark。 https://github.com/PaddlePaddle/PaddleNLP/pull/3100
更新Bert预训练时混合精度的配置，amp level改为O2。 https://github.com/PaddlePaddle/PaddleNLP/pull/3080
新增XLM模型。https://github.com/PaddlePaddle/PaddleNLP/pull/2080
转换Langboat/mengzi-t5-base-mt权重，并新增Zero Shot使用样例，https://github.com/PaddlePaddle/PaddleNLP/pull/3116
FasterBART支持动转静和高性能推理。https://github.com/PaddlePaddle/PaddleNLP/pull/2519
添加 PretrainedConfig 针对于HF Hub 兼容的问题 https://github.com/PaddlePaddle/PaddleNLP/pull/4035