thu-coai / cotk

Conversational Toolkit. An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation
Apache License 2.0
128 stars 27 forks source link

[BUG] 修正BleuCorpusMetric中的参数解释 #406

Closed hzhwcmhf closed 4 years ago

hzhwcmhf commented 4 years ago

在forward函数中,data[gen_key]可以接受2d或3d数组 如果为2d,则每一个句子的reference只有1个,形状是[batch_size, ~gen_sentence_length] 若为3d,第2维则每个生成句子reference可以有多个,形状为 [batch_size, ~reference_num, ~gen_sentence_length] 注意成员变量reference_num会限制生成该3d数组第2维的大小:若为None,则大小任意;若为固定值,则第二维必须是referece_num那么大。

同时,需要添加相应的测试:

提供参考:

目前我们还没有一个适用于这个的数据集dataloder。但一个理想的处理方案是, fields = OrderedDict([("references", SetenceCandidates)]) 这个field会提供多个reference,作为这个metric的输入