-
(AI_Scientist) root@intern-studio-50102651:~/AI-Scientist# python launch_scientist.py --model "gpt-4o-2024-05-13" --experiment nanoGPT --num-ideas 1
Using GPUs: [0]
Using OpenAI API with model gpt-4…
-
**Describe the bug**
Running wenet/bin/recognize.py reports the error: "ValueError: not enough values to unpack (expected 2, got 0)."
**To Reproduce**
Run the wenet/bin/recognize.py script to inf…
-
- https://arxiv.org/abs/2109.08668
- 2021
近年の自然言語処理では、大規模なトランスモデルが中心的な役割を果たしています。
しかし、これらのモデルの学習・推論コストは急速に増大し、非常に高価なものとなっています。
ここでは、より効率的な変種を探索することで、Transformerのコストを削減することを目的としています。
以前のアプローチと比較…
e4exp updated
3 years ago
-
- https://arxiv.org/abs/2106.09785
- 2021
本論文では、視覚表現学習のための効率的な自己教師付き視覚変換器（EsViT）を開発するための2つの技術を調査する。
まず、包括的な実証研究を通して、疎な自己言及を持つ多段アーキテクチャは、モデリングの複雑さを大幅に軽減できるが、その代償として画像領域間の細かい対応関係を捉える能力が失われることを示す。
…
e4exp updated
3 years ago
-
- https://arxiv.org/abs/2106.05822
- 2021
注意に基づく言語モデルは、最先端の自然言語処理システムにおいて重要な要素となっている。
しかし、これらのモデルは、長い学習時間、高密度の演算、膨大なパラメータ数のために、大きな計算量を必要とします。
本研究では、Transformer層の構造にいくつかの変更を加え、より効率的なアーキテクチャを実現しまし…
e4exp updated
3 years ago
-
## 一言でいうと
Transformerに画像を効率的に学習させる手法。CNNのモデルを使用し蒸留を行う。通常画像パッチ＋教師ラベル予測用Tokenを入力とするが、教師CNNの出力を予測する蒸留用Tokenを追加。ラベル+教師出力を別々のTokenから予測し学習する。8NodeのGPU1つを使い2~3日で学習完了。
### 論文リンク
https://arxiv.org/abs…
-
## 一言でいうと
Transformerを長い系列のタスクで評価するためのベンチマーク。括弧の対応といった合成タスク、テキスト分類/抽出といった自然言語系のタスクだけでなく画像(ピクセルの系列)分類といった多様なタスクを含んでいる。スピードと精度のトレードオフがあり、唯一ベストなモデルは存在しないという結果。
how can I attach the **transformer adapter** to the mmsegmentation for efficient fine-tuning?
I wanna attach it to the Segformer MiT encoder.
Can anyone hel…