Open weiwancheng opened 6 years ago
设置beam size 为5，生成的5个结果会有一些是重复的，查看了原因是因为beam search没有在停止符的时候停止，导致加上停止符等符号，整个句子是不一样的，去掉停止符后，句子是一样的了。请问beam search生成结果在停止符的时候不停止这个问题怎么解决了？ code 中是调用如下api： inference_decoder = BeamSearchDecoder( cell=self.decoder_cell, embedding=embed_and_input_proj, start_tokens=start_tokens, end_token=end_token, initial_state=self.decoder_initial_state, beam_width=self.beam_width, output_layer=self.decoder_output_projection, )
设置beam size 为5，生成的5个结果会有一些是重复的，查看了原因是因为beam search没有在停止符的时候停止，导致加上停止符等符号，整个句子是不一样的，去掉停止符后，句子是一样的了。请问beam search生成结果在停止符的时候不停止这个问题怎么解决了？ code 中是调用如下api： inference_decoder = BeamSearchDecoder( cell=self.decoder_cell, embedding=embed_and_input_proj, start_tokens=start_tokens, end_token=end_token, initial_state=self.decoder_initial_state, beam_width=self.beam_width, output_layer=self.decoder_output_projection, )