[2024] Efficient Memory Management for Large Language Model Serving with PagedAttention

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2024/09/12

概要

Research Question

研究で明らかにしたい問を端的に表したもの.

Elevator Pitch

[潜在的なニーズを満たしたり、潜在的な課題を解決したり] したい [対象ユーザー] 向けの, [提案手法] という手法は, [提案手法のカテゴリー] です. これは [提案手法の出来ること] ができ, [代替手段のSoTA] とは違って, [差別化の決定的な特徴] が備わっている.

TeX

% yyyy/mm/dd
@article{
    kwon2024efficient,
    title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
    author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
    journal=arXiv # "2309.06180",
    year={2024}
}