search

ymcui / Chinese-ELECTRA

Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）
http://electra.hfl-rc.com
Apache License 2.0
1.4k stars 171 forks source link

判别器的结构 #65

Closed Azuk1 closed 3 years ago

Azuk1 commented 3 years ago

hello，想问一下 以 ELECTRA-small:12-layer, 256-hidden, 4-heads, 12M parameters 为例，其中说到的共计12层 这12层是生成器和判别器的层数加起来还是他们之间单一的层数呢？

Azuk1 commented 3 years ago

sorry 看了一下代码知道了，多谢~