-
I wonder whether the xlnet code support multiple GPUS？
Thanks in advance!
-
## 一言でいうと
BERTを上回るNLPモデル。双方向TransformerであるBERTのアプローチを拡張し、自己回帰モデルによる学習を可能にした。
### 論文リンク
https://arxiv.org/abs/1906.08237
### 著者/所属機関
Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan S…
-
I am sorry to bother you here with the problme about xlnet pretraining.
I saw your comment on xlnet issues, you has the same error: Error recorded from outfeed: Bad hardware status: 0x1, on colab …
-
are they in the same way?
-
## 一言でいうと
BERT (#959) の弱点を修正したXLNetが公開。BERTではMask箇所を予測するが、"Mask"は通常発生しないためノイズになる。そこで単語の予測時に使用するContextの順序を変える手法を提案。Selfを含まないContextから予測する一方、Context自体は通常のSelfを含むAttentionで作成する。20タスクでBERTを上回る成果
.
This XLNet e…
-
http://yuanmc.me/191014xlnet
-
## 집현전 중급반 스터디
- 2022년 5월 22일 일요일 9시
- 김찬우님 박창현님 서범진님 홍범님 발표
- 논문 링크: https://arxiv.org/abs/1906.08237
> ### Abstract
> With the capability of modeling bidirectional contexts, denoising autoenc…
-
可以测试对比一下在XLNet_zh_Large上的效果吗？
（目前的XLNet_zh_Large是尝鲜版，如有问题会协助解决）