-
## 一言でいうと
Transformerを長い系列のタスクで評価するためのベンチマーク。括弧の対応といった合成タスク、テキスト分類/抽出といった自然言語系のタスクだけでなく画像(ピクセルの系列)分類といった多様なタスクを含んでいる。スピードと精度のトレードオフがあり、唯一ベストなモデルは存在しないという結果。
![image](https://user-images.githubus…
-
### Feature request
https://github.com/huggingface/transformers/blob/0fdea8607d7e01eb0e38a1ebeb7feee30a22f0cf/src/transformers/modeling_attn_mask_utils.py#L332
Here we can just assume the user pro…
-
When attempting to manually deploy the model to sagemaker via a deployment script or automatically deploying the model via the huggingface inference endpoints UI, I receive the same error:
"ValueEr…
-
When I ran vila's demo, I ran into the bug below:
![image](https://github.com/mit-han-lab/llm-awq/assets/101184592/6ceea783-2b53-4af0-a77c-a71339bb4ad2)
-
- https://arxiv.org/abs/2107.02192
- 2021
トランスフォーマーは、言語領域と視覚領域の両方で成功を収めている。
しかし、長い文書や高解像度の画像のような長いシーケンスに拡張するには、自己保持機構が入力シーケンスの長さに対して二次的な時間とメモリの複雑さを持つため、法外なコストがかかります。
本論文では、言語タスクと視覚タスクの両方において、長いシ…
e4exp updated
3 years ago
-
- https://arxiv.org/abs/2012.12877
- 2020
近年、純粋に注意力に基づくニューラルネットワークが、画像分類などの画像理解タスクに対応することが示された。
しかし、これらの視覚変換器は、高価なインフラを使って何億枚もの画像を使って事前に学習されているため、その採用には限界があります。
本研究では、Imagenetのみで学習することにより、競争力のある…
e4exp updated
3 years ago
-
### Is there an existing issue for this?
- [X] I have searched the existing issues and checked the recent builds/commits
### What happened?
xformers is installed and available in my conda env yet n…
-
### Is your feature request related to a problem?
The sequential table transformer (#802) is great if later transformations depend on prior ones. Often, however, columns are transformed independently…
-
I notice that passkey retrieval works well up to around 3-4k tokens. After that, it doesn't.
That wasn't my intuition for SSMs, but I guess context length is still related to the training set? It's…
-
### Your current environment
my vllm version is
pip show vllm
Name: vllm
Version: 0.3.3+git3380931.abi0.dtk2404.torch2.1
Summary: A high-throughput and memory-efficient inference and serving eng…