-
### Describe the workflow you want to enable
I suggest adding new transformers to scikit-learn named `LogTransformer` and `LogWithShiftTransformer`, which would add the functionality of applying a lo…
-
Model generates only garbage.
Sample: https://github.com/aws-neuron/aws-neuron-samples/blob/master/torch-neuronx/transformers-neuronx/inference/llama-3-8b-32k-sampling.ipynb
NeuronSDK2.19 PyTorc…
-
https://arxiv.org/abs/2009.06732
-
Hi @AlexeyAB,
Can we have this [DeiT](https://github.com/facebookresearch/deit)?
Thanks
-
1.Public code and paper link:
I have installed the following code: [https://github.com/AILab-CVC/GroupMixFormer](url)
paper link : [https://arxiv.org/abs/2311.15157](url)
2. What does this work d…
-
(Lowest of the low priorities)
SSMs have been making the rounds but people have only cared about them for 'major' tasks. (NMT models, speech, LLM). Since they're special LSTMs and we see better per…
-
### 論文へのリンク
[[arXiv:2005.14187] HAT: Hardware-Aware Transformers for Efficient Natural Language Processing](https://arxiv.org/abs/2005.14187)
### 著者・所属機関
Hanrui Wang, Zhanghao Wu, Zhijian Liu…
-
- https://arxiv.org/abs/2109.08668
- 2021
近年の自然言語処理では、大規模なトランスモデルが中心的な役割を果たしています。
しかし、これらのモデルの学習・推論コストは急速に増大し、非常に高価なものとなっています。
ここでは、より効率的な変種を探索することで、Transformerのコストを削減することを目的としています。
以前のアプローチと比較…
e4exp updated
2 years ago
-
- https://arxiv.org/abs/2106.09785
- 2021
本論文では、視覚表現学習のための効率的な自己教師付き視覚変換器(EsViT)を開発するための2つの技術を調査する。
まず、包括的な実証研究を通して、疎な自己言及を持つ多段アーキテクチャは、モデリングの複雑さを大幅に軽減できるが、その代償として画像領域間の細かい対応関係を捉える能力が失われることを示す。
…
e4exp updated
3 years ago
-
## 一言でいうと
Transformerに画像を効率的に学習させる手法。CNNのモデルを使用し蒸留を行う。通常画像パッチ+教師ラベル予測用Tokenを入力とするが、教師CNNの出力を予測する蒸留用Tokenを追加。ラベル+教師出力を別々のTokenから予測し学習する。8NodeのGPU1つを使い2~3日で学習完了。
### 論文リンク
https://arxiv.org/abs…