hpc-learning

本库用来整理HPC及相关领域的学习资料，由于个人能力有限，且HPC相关内容浩如烟海，欢迎多多提Issue并且一起维护。

另外，推荐CS自学指南，这是一个北大老哥整理的很好的相关资源，我这里没有推荐到的，推荐去那边参考

内容包括

• 基础课程
  • C/C++
  • 计算机架构
  • 并行计算原理
  • GPGPU
  • 相关知识
• 进阶方向
  • 深度学习系统
  • 深度学习编译
  • 量化金融开发(Quant dev)
• 项目
  • 线性代数
  • 深度学习
  • 并行计算
  • 深度学习编译
  • 高性能算子
  • 量化金融开发

课程及相关分枝包括以下内容

• 书籍 📚
• 课程 🖥️
• 相关资料🗂️

基础课程

C/C++

• 📚

  • C++ Primer
  • Effective Modern C++
  • 现代 C++ 教程：高速上手 C++ 11/14/17/20

• 🖥️

  • 南科大计算机系:快速学习C和C++
  • 现代C++中的高性能并行编程与优化

• 🗂️

  • Hacking C++ 现代c++学习路线、Cheatsheet以及新feature
  • Cpp官方参考指南

计算机架构

• 📚

  • 计算机系统架构
  • 深入理解计算机系统

• 🖥️

  • ETH:Computer Architecture

• 🗂️

并行计算

• 📚

  • High Performance Parallel Runtimes
  • C++ Concurrency In Action, C++并发编程实践

• 🖥️

  • 伯克利CS267：并行计算应用
  • CMU 15-418/618:并行计算架构及编程
  • MIT:软件系统性能优化
  • MIT:软件系统性能优化, 中翻

• 🗂️

GPGPU

• 📚

  • 通用图形处理器架构
  • CUDA C++编程指南

• 🖥️

  • NVIDIA, CUDA Training Series

• 🗂️

  • 如何开发机器学习系统：高性能GPU矩阵乘法
  • CUDA Training Series, Exercises

进阶方向

深度学习系统

• 📚

  • 机器学习系统：设计和实现

• 🖥️

  • CMU10-414/714:深度学习系统

• 🗂️

深度学习编译

• 📚

• 🖥️

  • 陈天奇:MLC-机器学习编译

• 🗂️

  • tvm_mlir_learn

量化金融开发(Quant dev)

• 📚

• 🖥️

• 🗂️

项目

• 线性代数

  • OpenBLAS
  • Eigen Core
  • CUTLASS3.0

• 深度学习框架

  • TensorRT
  • tensorflow
  • PyTorch
  • MindSpore

• 并行计算

  • OpenMP

• 深度学习编译

  • MLIR
  • TVM

• 高性能算子库

  • OpenPPL

• Python加速库

  • taichi
  • numba
  • pybind11
  • cython

• 量化金融开发

  • backtrader
  • qlib
  • zipline
  • TA-Lib