Apollo: Automatic partition-based operator fusion through layer by layer optimization

[yukarinoki]

1 の被引用

深層学習モデルのJITコンパイルフレームワークApolloの研究。融合の対象を広げている。

https://mlsys.org/virtual/2022/oral/2136 スライドも発表VTRもある

[yukarinoki]

フレームワークがfusionを頑張ってくれているわけではない。代わりにJITが頑張っている。

[yukarinoki]

loop shiftは大変らしい

[yukarinoki]

• Layer 1: Polyhedral loop fusion
• Layer 2: Memory Stiching Panaramaでall-reduce, x-reduce, y-reduceというcanonical formにloopを変更する
• Layer 3: Parallerism Stiching