search

zhaoyingjun / chatbot

ChatGPT带火了聊天机器人，主流的趋势都调整到了GPT类模式，本项目也与时俱进，会在近期更新GPT类版本。基于本项目和自己的语料可以训练出自己想要的聊天机器人，用于智能客服、在线问答、闲聊等场景。
3.51k stars 1.02k forks source link

关于getbatch中Encoder inputs reversed #78

Open hzp0821 opened 4 years ago

hzp0821 commented 4 years ago

Encoder inputs are padded and then reversed. 不太明白为什么要对encoder inputs 进行反转

hzp0821 commented 4 years ago

encoder_inputs.append(list(reversed(encoder_input + encoder_pad))) 这里的反转意义是什么的 re-indexed 部分也不是很明白 看上去像是tensorflow源码好多资料都是这种代码 可否解释一下

zhaoyingjun commented 4 years ago

比如 1，2，3 ->a,b,c，上句123 下句abc的话，那么基于马尔科夫假设，3和a 应该连在一起的，但是我们按照123的顺序输入的时候，那么是不是1先进入decoder然后 预测出3,因为1在数组中提一个。如果是按照321的顺序encoder的话， 那么一个进入decoder的就是3。