New Features

ERNIE 3.0

新增百度自研预训练模型 ERNIE 3.0
CLUE benchmark

UIE

新增百度自研基于统一结构生成的通用信息抽取模型 UIE

PLATO-XL

新增百度自研百亿参数对话模型 PLATO-XL
高性能预测

领域预训练模型

新增医疗领域预训练模型 ERNIE-Health

Trainer API

General improvements and bugfixes

Breaking Changes

New Features

ERNIE 3.0

新增百度自研预训练模型 ERNIE 3.0，包含 ernie-3.0-medium 和 ernie-3.0-base 两个模型权重
在 CLUE benchmark 上，

UIE(Unified Information Extraction)

新增百度自研基于统一结构生成的通用开放域信息抽取模型 UIE，单个模型可以支持命名实体识别、关系抽取、事件抽取、情感分析等任务，同时在模型规模上支持base和tiny两种模型
新增医疗领域信息抽取模型 UIE-Medical，支持医疗专名识别和医疗关系抽取两大任务
支持 Taskflow 一键使用

PLATO-XL

新增百度自研百亿参数（11B）开放域对话预训练模型 PLATO-XL（英文），模型来源于 PaddlePaddle/Knover
支持基于 FasterGeneration 的高性能预测，预测速度达到未加速版本 2.7 倍

领域预训练模型

新增中文医疗领域预训练模型 ERNIE-Health，支持医学文本信息抽取（实体识别、关系抽取）、医学术语归一化、医学文本分类、医学句子关系判定和医学问答共5大类任务
新增CBLUE benchmark

Trainer API

Data API

支持 HuggingFace Datasets，可以直接使用其 load_dataset 返回的数据集（建议在先import paddlenlp后再import Datasets）
新增 DataCollatorWithPadding、DataCollatorForTokenClassification 等常用任务的 data collator，简化数据处理流程
Tokenizer 功能新增与调整：
- 支持自定义 special token 的保存和加载
- 提供更丰富的 padding 方式，包括定长 pad、 longest pad以及pad到特定倍数
- 支持获取最长单句输入长度和句对输入长度
- 支持返回 Paddle Tensor 数据
- NOTE 在输入为 batch 数据时，默认输出格式由 list of dict 调整为 dict of list （dict 为BatchEncoding类的对象），可通过 return_dict 设置
- NOTE save_pretrained 保存内容格式有调整（保证了兼容性，此前保存内容仍能正常使用）

General improvements and bugfixes

【模型应用示例】新增 NLP 可解释性评估 #1752 ，感谢 @binlinquge 的贡献
【新硬件支持】BERT 静态图训练增加 IPU 支持 #1793，感谢 @gglin001 的贡献
【TaskFlow】修复Taskflow NPTag解码问题 #2023
【FasterGeneration】速度优化：UnifiedTransformer、UnimoText 模型context计算加入加速支持，速度为此前1.2~2.1倍
【FasterGeneration】速度优化：扩展模型加速 size_per_head 支持范围，基于此支持了 CPM（2.6B，开源最大GPT中文模型）等生成加速
【FasterGeneration】显存优化：优化模型加载转换显存占用，支持直接使用 FP16 模型并允许去除原始未融合的QKV权重参数
【FasterGeneration】API 增强：FasterTransformer API 新增参数支持直接使用 encoder 加速能力，打通 encoder 加速与 decoding 加速
【FasterGeneration】预测部署：UnifiedTransformer、UnimoText 更多 Faster 模型支持导出部署
【FasterGeneration】模型并行：GPT 模型context计算加入加速支持，4卡 Tensor 并行速度较单卡高性能生成提升40%
【FasterGeneration】修复 encoder 加速在预测模式下编译问题
【FasterGeneration】调整 JIT 编译目录路径，新的编译目录在$PPNLP_HOME/extensions下

NOTE

Breaking Changes

为了更好的兼容 HuggingFace Datasets，tokenzier 都将返回，检测到将会进行 warning

New Features

ERNIE 3.0

新增百度自研预训练模型 ERNIE 3.0，包含 ernie-3.0-base （12层）和 ernie-3.0-medium（6层）两种模型规模的权重
提供了 CLUE benchmark 的结果产出脚本，在 CLUE benchmark 上 base 模型平均分高于 Roberta-wwm-ext 1.94，medium 模型 CLUE 平均分高于 RBT6 2.75，实现了相同规模开源中文预训练模型的最佳效果

UIE(Unified Information Extraction)

新增百度自研基于统一结构生成的通用开放域信息抽取模型 UIE，单个模型可以支持命名实体识别、关系抽取、事件抽取、情感分析等任务，同时在模型规模上支持base和tiny两种模型
新增医疗领域信息抽取模型 UIE-Medical，支持医疗专名识别和医疗关系抽取两大任务
支持 Taskflow 一键使用

PLATO-XL

新增百度自研百亿参数（11B）开放域对话预训练模型 PLATO-XL（英文），模型来源于 PaddlePaddle/Knover
支持基于 FasterGeneration 的高性能预测，预测速度达到未加速版本 2.7 倍

领域预训练模型

新增中文医疗领域预训练模型 ERNIE-Health，支持医学文本信息抽取（实体识别、关系抽取）、医学术语归一化、医学文本分类、医学句子关系判定和医学问答共5大类任务
新增 CBLUE benchmark

Trainer API

新增 Trainer API，对常用的训练功能进行封装，提供了基本默认配置，模型训练更简便。 https://github.com/PaddlePaddle/PaddleNLP/pull/1761

基本功能
- 支持单卡、多卡训练、评估、预测。
- 支持混合精度fp16（O1, O2）训练。
- 支持梯度累积训练。
- 支持导出inference模型。
其他功能
- 断点checkpoint重启，数据重启恢复。
- 集成 VDL 可视化训练loss曲线。
功能适配
- 适配文本分类，Token分类，阅读理解 finetune任务。https://github.com/PaddlePaddle/PaddleNLP/pull/1761
- 适配 ERNIE-1.0，eHealth 预训练流程。https://github.com/PaddlePaddle/PaddleNLP/pull/1956 https://github.com/PaddlePaddle/PaddleNLP/pull/1996

Data API

支持 HuggingFace Datasets，可以直接使用其 load_dataset 返回的数据集（建议在先import paddlenlp后再import Datasets）
新增 DataCollatorWithPadding、DataCollatorForTokenClassification 等常用任务的 data collator，简化数据处理流程
Tokenizer 功能新增与调整：
- 支持自定义 special token 的保存和加载
- 提供更丰富的 padding 方式，包括定长 pad、 longest pad 以及 pad 到特定倍数
- 支持获取最长单句输入长度和句对输入长度
- 支持返回 Paddle Tensor 数据
- NOTE 在输入为 batch 数据时，默认输出格式由 list of dict 调整为 dict of list （dict 为BatchEncoding类的对象），可通过 return_dict 设置
- NOTE save_pretrained 保存内容格式有调整（保证了兼容性，此前保存内容仍能正常使用）

General improvements and bugfixes

【模型应用示例】新增 NLP 可解释性评估 #1752 ，感谢 @binlinquge 的贡献
【新硬件支持】BERT 静态图训练增加 IPU 支持 #1793，感谢 @gglin001 的贡献
【TaskFlow】修复Taskflow NPTag 解码问题 #2023
【FasterGeneration】速度优化：UnifiedTransformer、UnimoText 模型context计算加入加速支持，速度为此前1.2~2.1倍
【FasterGeneration】速度优化：扩展模型加速 size_per_head 支持范围，基于此支持了 CPM（2.6B，开源最大GPT中文模型）等生成加速
【FasterGeneration】显存优化：优化模型加载转换显存占用，支持直接使用 FP16 模型并允许去除原始未融合的QKV权重参数
【FasterGeneration】API 增强：FasterTransformer API 新增参数支持直接使用 encoder 加速能力，打通 encoder 加速与 decoding 加速
【FasterGeneration】预测部署：UnifiedTransformer、UnimoText 更多 Faster 模型支持导出部署
【FasterGeneration】模型并行：GPT 模型加入NV FT模型并行（Tensor并行和Pipeline并行）支持，在 cpm-large-cn 上 4卡 Tensor 并行速度较单卡高性能生成提升40%
【FasterGeneration】修复 encoder 加速在预测模式下编译问题
【FasterGeneration】调整 JIT 编译目录路径，新的编译目录在$PPNLP_HOME/extensions下

NOTE

Breaking Changes

调用 Tokenizer 在输入为 batch 数据时，默认输出格式由 list of dict 调整为 dict of list （dict 为BatchEncoding类的对象），可通过 return_dict 设置

@guoshengCS @wawltor @ZHUI @tianxin 请在我comment的地方直接编辑更新一版，并在此处提供准确新Feature使用入口。

New Features

通用信息抽取框架 UIE (Universal Information Extraction)

新增基于统一结构生成的通用开放域信息抽取框架 UIE，单个模型可以支持命名实体识别、关系抽取、事件抽取、情感分析等任务，同时在模型规模上支持base和tiny两种结构，满足多种业务场景需求。
新增医疗领域信息抽取模型 UIE-Medical，支持医疗专名识别和医疗关系抽取两大任务，并支持小样本学习，预测精度业界领先。
支持 Taskflow 一键使用

文心NLP大模型升级

新增文心大模型ERNIE 3.0轻量级版本，包含ERNIE 3.0-Base（12层）和 ERNIE 3.0-Medium（6层）两个中文模型，在CLUE Benchmark上实现同规模模型中文最佳效果。
新增中文医疗领域预训练模型 ERNIE-Health，支持医学文本信息抽取（实体识别、关系抽取）、医学术语归一化、医学文本分类、医学句子关系判定和医学问答共5大类任务，并提供 CBLUE benchmark 使用实例。
新增文心大模型PLATO-XL（11B）全球首个百亿参数对话预训练生成模型，提供FasterGeneration高性能GPU加速，相比上版本推理速度加速2.7倍，更多使用说明请查阅PLATO-XL with FasterGeneration

Trainer API

新增 Trainer API，极大简化了模型训练代码，并规范了统一的训练配置，提升实验的可复现性。 https://github.com/PaddlePaddle/PaddleNLP/pull/1761 。Trainer API 快速上手请参考教程。

Data API

支持 HuggingFace Datasets，可以直接使用其 load_dataset 返回的数据集（建议在先import paddlenlp后再import Datasets）
新增 DataCollatorWithPadding、DataCollatorForTokenClassification 等常用任务的 data collator，简化数据处理流程
Tokenizer 功能新增与调整：
- 支持自定义 special token 的保存和加载
- 提供更丰富的 padding 方式，包括定长 pad、 longest pad 以及 pad 到特定倍数
- 支持获取最长单句输入长度和句对输入长度
- 支持返回 Paddle Tensor 数据
- NOTE 在输入为 batch 数据时，默认输出格式由 list of dict 调整为 dict of list （dict 为BatchEncoding类的对象），可通过 return_dict 设置
- NOTE save_pretrained 保存内容格式有调整（保证了兼容性，此前保存内容仍能正常使用）

General improvements and bugfix

模型应用示例： 新增 NLP 可解释性评估 #1752 ，感谢 @binlinquge 的贡献
新硬件支持： BERT 静态图训练增加 IPU 支持 #1793，感谢 @gglin001 的贡献
TaskFlow： 修复Taskflow NPTag 解码问题 #2023
FasterGeneration： 速度优化：UnifiedTransformer、UNIMOText 模型context计算加入加速支持，速度为此前1.2~2.1倍
FasterGeneration： 速度优化：扩展模型加速 size_per_head 支持范围，基于此支持了 CPM（2.6B，开源最大GPT中文模型）等生成加速
FasterGeneration： 显存优化：优化模型加载转换显存占用，支持直接使用 FP16 模型并允许去除原始未融合的QKV权重参数
FasterGeneration： API 增强：FasterTransformer API 新增参数支持直接使用 encoder 加速能力，打通 encoder 加速与 decoding 加速
FasterGeneration： 预测部署：UnifiedTransformer、UNIMOText 更多 Faster 模型支持导出部署
FasterGeneration： 模型并行：GPT 模型加入NV FT模型并行（Tensor并行和Pipeline并行）支持，在 cpm-large-cn 上 4卡 Tensor 并行速度较单卡高性能生成提升40%
FasterGeneration： 修复 encoder 加速在预测模式下编译问题
FasterGeneration： 调整 JIT 编译目录路径，新的编译目录在$PPNLP_HOME/extensions下

Breaking Changes

调用 Tokenizer 在输入为 batch 数据时，默认输出格式由 list of dict 调整为 dict of list （dict 为BatchEncoding类的对象），可通过 return_dict 设置

New Contributors

@mmglove made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/1974
@luyaojie made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/2012
@wjj19950828 made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/2061
@kev123456 made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/2070
@heliqi made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/2073
@yeliang2258 made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/2077

Full Changelog: https://github.com/PaddlePaddle/PaddleNLP/compare/v2.2.6...v2.3.0

PaddlePaddle / PaddleNLP

PaddleNLP v2.3rc Release Note Candidate #2031

New Features

ERNIE 3.0

UIE

PLATO-XL

领域预训练模型

更多预训练模型

更多产业案例

Trainer API

General improvements and bugfixes

Breaking Changes

New Features

ERNIE 3.0

UIE(Unified Information Extraction)

PLATO-XL

领域预训练模型

更多预训练模型

更多产业案例

Trainer API

Data API

General improvements and bugfixes

NOTE

Breaking Changes

New Features

ERNIE 3.0

UIE(Unified Information Extraction)

PLATO-XL

领域预训练模型

更多预训练模型

Trainer API

Data API

General improvements and bugfixes

NOTE

Breaking Changes

New Features

通用信息抽取框架 UIE (Universal Information Extraction)

文心NLP大模型升级

更多预训练模型

Trainer API

Data API

General improvements and bugfix

Breaking Changes

New Contributors