[Feature] 修改Recorder返回str，而不是tokens

thu-coai / cotk

Conversational Toolkit. An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation

Apache License 2.0

128 stars 27 forks source link

Closed hzhwcmhf closed 3 years ago

hzhwcmhf commented 4 years ago

目前LanguageGenerationRecorder, MultiTurnDialogRecorder, SingleTurnDialogRecorder中，返回的是tokens的数组。现修改为返回整个句子的str
修改实现方法，使用dataloader的convert_ids_to_sentenece函数。
修改文档，在文档中注明几个要点：
- 结果不含\等特殊字符
- 输入可以是带padding的，可以选择性带special tokens。
- 修改example体现这两点