Architecture of Qualcomm Adreno GPU

[ysh329]

Adreno GPU architecture

[ysh329]

Adreno GPU支持众多图形API和计算用途的API：

• 主要图形用途API：
  1. OpenGL ES。OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL 三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。OpenGL ES 是从 OpenGL 裁剪的定制而来的，去除了glBegin/glEnd，四边形（GL_QUADS）、多边形（GL_POLYGONS）等复杂图元等许多非绝对必要的特性；
  2. DirectX（Direct eXtension），简称DX。是由微软公司创建的多媒体编程接口，是一种应用程序接口（API）。DirectX可以让以windows为平台的游戏或多媒体程序获得更高的执行效率，加强3D图形和声音效果，并提供设计人员一个共同的硬件驱动标准，让游戏开发者不必为每一品牌的硬件来写不同的驱动程序，也降低用户安装及设置硬件的复杂度。DirectX已被广泛使用于Microsoft Windows、Microsoft XBOX、Microsoft XBOX 360和Microsoft XBOX ONE电子游戏开发；
  3. Vulkan：也被称为"Next generation OpenGL initiative"或“glNext”， 但正式宣布Vulkan后该名字就未被使用。就像OpenGL，Vulkan针对实时3D程序（如电子游戏）设计，Vulkan并计划提供高性能和低CPU管理负担（overhead）；
• 主要计算用途API：OpenCL（Open Computing Language）。

其实上面，虽然有对其主要用途的定义，但近些年端侧推理框架在GPU方面，如MNN，其GPU后端支持了OpenGL、OpenCL、Vulkan三个，NCNN支持的是Vulkan，TensorFlow Lite支持了OpenGL和OpenCL，但CL优先级高于GL。

不难看到，Vulkan和OpenGL虽也可用于高性能计算用途，但首推的还是CL，且在兼容性和支持平台上，CL更好一些。另外，长期来看Vulkan可能更有潜力。

---

OpenGL ES、OpenGL、Vulkan都是由Khronos Group制定，该组织是一个图形软硬件行业协会，关注图形和多媒体方面的开放标准，并长期专注于创立开放标准，免授权费的移动设备接口程序API, 用以实现多样化平台及设备上的高质量动态多媒体创作和加速。 所有 Khronos Group 成员均可为Khronos API规范的制定贡献其力量，均可在相关标准公开部署前拥有各个发展阶段的表决权，更可通过及早接触相关标准草案及顺应性测试加速其先进的3D平台及相关应用程序的发布。

High-level architecture of the Adreno A5X GPUs for OpenCL

[ysh329]

文档中，提供了一张Adreno A5X GPU在OpenCL的视角下的架构图。这个A5X系列我在网上还没找到，应该是比较老的一款Adreno GPU，按照文档的意思，虽然与其它Adreno GPU有不同，但在OpenCL的视角下，不同点很小，对其它Adreno GPU也是有普遍的参考意义的。

Adreno GPU的OpenCL API执行视角硬件模块架构图，其中主要包括4个硬件模块：

1. 着色器处理器（Shader / streaming processor, SP）

是Adreno GPU的核心模块，用于执行图形渲染任务，如顶点着色器、片段着色器、计算着色器，我的理解就是OpenGL、Vulkan的渲染任务，当然还有计算任务如执行OpenCL Kernels。

注：shader prcoessor是物理概念，而shader可理解为任务代码或（渲染）任务，或者说供sp（shader processor）执行的代码/任务，如fragment shader、vertex shader、compute shader，分别是片段任务（代码）、顶点任务（代码）、计算任务（代码）。其任务（代码）的执行由shader processor执行。SP再控制ALU去执行。

也正因如此，该核心模块包含的硬件模块有如：

1. 算术逻辑单元（arithmetic logic unit，简称为ALU）；
2. load / store单元，应该对应于图上的Buffer和Image这两种类型的Read / Write（所对应的箭头）；
3. control flow unit；
4. register file：类似ARM的寄存器，除去通用寄存器外，其余的一般有特定功能。比如说，在fragment shader里面要做sample，会通过配置对应register file。

Shader和ALU的关系

shader应该是供alu执行的机器代码，或者说供sp（shader processor）执行的代码，sp再控制alu。换句话说，其实这些各种各样的shaders（vertex shaders、fragment shaders、compute shaders）都是渲染任务的执行代码。 shader processor这个词里的shader，是任务，哦对可以理解为streaming，似乎可以说是任务，各种顶点、片段、计算的任务。

• Adreno GPU包含一个或多个SP，取决于GPU的系列和中高低端。低端 Adreno GPU可能只有1个SP，高端旗舰一般都有多个SP，像上图的A5X GPU有1个SP；
• 每个SP（Shader Processor）对应1个或多个OpenCL的Compute Units。这么看来，Compute Unit是OpenCL的概念。我后来想了想，不对，上面整张图都是Adreno GPU 的 OpenCL 架构图，和 OpenCL 耦合的；
• Buffer 对象的 load 和 store 操作都能用上 L2 cache ，而 image 对象的 load 操作可用到 Texture Processor 的 L1 cache。

[ysh329]

2. 纹理处理器（Texture Processor，TP）

• 纹理操作，如 texture fetch 、filtering based on kernel's request；
• 与L1 cache成对，比方从L2 cache中获取纹理数据，防止出现纹理数据出现cache miss的情况。

[ysh329]

3. Unified L2 Cache（UCHE）

响应 SP 对 buffer 对象的 load / store 请求，以及对 image 对象的 L1 cache 数据 load 请求。

[ysh329]

Waves and fibers

Fiber

wave

[ysh329]

Workgroup assignment

[ysh329]

Latency hiding

[ysh329]

Memory model