-
- https://aclanthology.org/2020.acl-main.672.pdf
- 2020
ディープアテンションモデルは、多くの分野で逐次データのモデリングを進化させてきました。
特に言語モデリングにおいては、Transformer-XL(過去の活性化の長距離メモリで強化されたTransformer)が、よく研究されたさまざまなベンチマークにおいて、最先端であることが…
e4exp updated
2 years ago
-
Used the following PDF: https://arxiv.org/pdf/1706.03762
The result looks ok, however the order or pages is incorrect.
Setup
```
git clone ...
pip install -e .
```
```python
import asyn…
-
- https://arxiv.org/abs/1911.11423
- 2019
言語モデリングの主要なアプローチは、私が少年時代に見たテレビ番組、すなわちトランスフォーマーやセサミストリートに夢中になっています。
これもトランスフォーマー、あれもトランスフォーマー、そしてここにはGPU-TPU-ニューロモルフィックのウェハースケールシリコンの焚き火のようなものがある。
私たちは、暗…
e4exp updated
3 years ago
-
- https://arxiv.org/abs/2009.11264
- EMNLP 2020
トランスフォーマーは、多くのNLPタスクでリカレントモデルに取って代わりました。
しかし、異なる構文特性をモデル化する能力の違いについては、まだほとんど知られていません。
過去の研究では、LSTMは通常の言語で非常によく一般化し、対言語との密接な関係があることが示唆されている。
本研究では…
e4exp updated
3 years ago
-
- https://openreview.net/forum?id=JVR4JswsEM
- 2021
概要:
Dot Product Attention Free Transformer (DAFT)を紹介します。
これは、Transformer (Vaswani et al., 2017) 自己注目におけるクエリ・キーのドット積を排除する効率的な変形です。
その核となるアイデア…
e4exp updated
2 years ago
-
- https://arxiv.org/abs/2109.00084
- 2021
ソフトウェアの共同開発は,大規模なソフトウェアプロジェクトを成功させるために欠かせない,最新のソフトウェア開発ライフサイクルの一部です.
複数の開発者が同じコードラインを同時に変更すると、マージコンフリクトが発生することがあります。
このようなコンフリクトは、プルリクエストや継続的インテグレーション・パ…
e4exp updated
2 years ago
-
读了几个月的论文,终于大致捋顺了word vector算法的脉络。文章里面有我对算法的一些直观理解,欢迎有想法的一起讨论。
---
- [1 简介](#custom-anchor-1%20%E7%AE%80%E4%BB%8B)
- [1.1 来自语言模型](#custom-anchor-1.1%20%E6%9D%A5%E8%87%AA%E8%AF%AD%E8%A8%80%E6%A8%A1%E…
-
- [link to OpenReview](https://openreview.net/forum?id=U1edbV4kNu_)
- 2021 ICLR 2022 Conference Blind Submission
概要:
多くの深層学習アプリケーションでは、何十億ものパラメータを持つ大規模なモデルを使用することで利益を得ています。
これらのモデルは、低レイテンシーかつ高…
e4exp updated
2 years ago
-
- https://arxiv.org/abs/2007.15780
- 2021
ニューラルネットワークをベースとした生成モデリングの最近の進歩により、人間とシームレスに会話ができ、自然言語を理解できるコンピュータシステムへの期待が再び高まっています。
ニューラル・アーキテクチャは、ユーザーのニーズを満たす様々なコンテキストやタスクにおいて、テキストの抜粋を生成するために採用され、様々…
e4exp updated
3 years ago
-
### Cautions:
**Before starting the task, please refer to [Add data of ML-YouTube-Courses](https://github.com/orgs/ocademy-ai/projects/3/views/1?filterQuery=label%3Adata&pane=issue&itemId=36101499)…