search

Morizeyao / GPT2-Chinese

Chinese version of GPT2 training code, using BERT tokenizer.
MIT License
7.48k stars 1.7k forks source link

eos #265

Open irasin opened 1 year ago

irasin commented 1 year ago

你好，请问一下如何判断句子的生成已经达到结尾了呢？gpt2的英语模型中，tokenizer提供了eos_token，可以通过该token判断是否停止。但是这里是用Bert的tokenizer，没有eos_token，该如何判断停止条件呢？

lizhipengpeng commented 1 year ago

同问，在使用过程中也遇到同样的问题