请教gpt2代码相关问题

ghosthamlet / gpt2-ml-torch

Pytorch model for https://github.com/imcaspar/gpt2-ml

Apache License 2.0

79 stars 16 forks source link

Closed wang802 closed 3 years ago

wang802 commented 3 years ago

您好！看了您gpt2相关的代码应该是huggingface官方代码的改版。想问下GPT2Model这一块为什么删去了原始代码中下三角掩码的部分？是否是有其他位置关于这个的实现还是说您这一版gpt2采用的是双向编码？谢谢