[12/20] 박상수, Self-Adaptive Reconfigurable Arrays (SARA): Using ML to Assist Scaling GEMM Acceleration

[ConstantPark]

Date

• 2022.12.20

Who :

박상수 (sonicstage12@naver.com)

What:

Title: Self-Adaptive Reconfigurable Arrays (SARA): Using ML to Assist Scaling GEMM Acceleration Links: https://arxiv.org/pdf/2101.04799.pdf

Keywords:

NPU, Hardware Accelerator, DL Compiler

Abstract:

잘 만들어진 DL 모델을 NPU에서 잘 사용하기 위해서는 각 레이어를 하드웨어의 구조에 맞춰 나눠주는 과정이 필요합니다. 이러한 기능은 Compiler를 통해 Processor에서 동작하는 Binary를 만드는 과정에 해당되며, 이를 DL Compiler가 수행합니다. DL Compiler에서 NPU에서 최적의 성능을 얻도록 하는 "DL 모델 최적화" 과정은 탐색에 많은 시간이 소요되는 문제가 존재합니다. 논문에서는 NPU 내부에 DL Compiler의 기능을 수행하는 하드웨어를 포함하여 실행시간을 개선하고자 합니다. (상용화 관점에서는 어렵지만, 재미있는 주제로 들어주시면 감사하겠습니다.)

Preliminary

AI 가속기에서 연산 장치로 많이 사용되고 있는 Systolic arrary와 관련된 연구를 살펴볼 예정입니다. 각 논문을 읽는 것도 좋지만, Vivienne Sze 교수님 동영상을 보고 오는 것을 권해드립니다.

• TPU (Tensor processing unit)
  • https://arxiv.org/pdf/1704.04760.pdf?mod=article_inline
  • Weight stationary based NPU
  • A systematic methodology for characterizing scalability of DNN accelerators using SCALE-sim
  • https://cpb-us-w2.wpmucdn.com/sites.gatech.edu/dist/c/332/files/2020/03/scalesim_ispass2020.pdf
  • NPU Simulator
  • Architecture Design for Highly Flexible and Energy-Efficient Deep Neural Network Accelerators
  • https://dspace.mit.edu/bitstream/handle/1721.1/117838/1052123991-MIT.pdf?sequence=1&isAllowed=y
  • Row Stationary (RS) dataflow
  • Vivienne Sze 교수님 동영상
  • https://youtu.be/55fYzzF716M
  • 발표 자료
  • https://drive.google.com/file/d/1d2AIWCuFA66ofJUEO0UyJTwmFlYv7_88/view?usp=share_link

[sankim90]

안녕하세요, 작은 질문이 하나 있습니다. 박사학위 PDF에서, Power와 Energy 측정은 어떻게, 어떤 기준으로 하셨는지 알 수 있을까요? 그리고 언뜻보면 파워와 에너지는 비슷한 의미인것 같은데 어떤 차이가 있나요? 감사합니다.

[ConstantPark]

Power는 실제 RTL 코드를 설계하고 이를 Design Compiler에서 합성해서 얻은 결과에 해당됩니다. Power Consumption은 Chip에 Power가 인가되었을 때 Chip에서 소모되는 전력, Energy는 Power와 어떤 알고리즘을 수행하는데 소모되는 시간을 곱한 Power delay product (PDP)로 계산하였습니다.