james-joobs
commented
4 days ago Nvidia 플랫폼 소개
1. NVLINK의 등장
NVLINK 설명 블로그
NVIDIA NVLINK는 높은 대역폭과 낮은 지연 시간을 제공하는 GPU 간 연결 기술로, 데이터를 보다 빠르게 전송하고 병렬 컴퓨팅 성능을 극대화합니다.
2. TensorCore의 등장
TensorCore 설명 블로그
TensorCore는 행렬 연산에 최적화된 회로로, 딥러닝 모델 학습과 추론에서 특히 높은 성능을 발휘합니다. 이를 통해 딥러닝 훈련 시간과 인퍼런스 속도를 크게 향상시킵니다.
3. Grace Hopper Superchips
Grace Hopper Superchips 페이지
Grace Hopper Superchips는 CPU와 GPU를 단일 패키지로 결합한 새로운 차원의 슈퍼컴퓨팅 칩입니다. 초대형 모델 학습 및 고성능 컴퓨팅 작업에 특화되어 있습니다.
4. Infiniband
Infiniband 페이지
Infiniband는 고속 네트워킹을 지원하며, 대규모 클러스터에서 데이터 전송의 병목현상을 최소화합니다. NVIDIA의 Infiniband 스위칭은 매우 낮은 지연 시간과 높은 처리량을 제공합니다.
5. MIG(Multi-instance GPU)
MIG 설명 블로그
MIG는 GPU 자원을 논리적으로 분할하여 여러 작업이 동시에 실행될 수 있도록 지원하는 기술입니다. 이는 GPU 자원의 효율적인 활용을 가능하게 하며, Kubernetes와 같은 플랫폼에서 매우 유용합니다.
6. NVDEC 미디어 인/디코딩
NVDEC 설명 페이지
NVDEC는 NVIDIA의 하드웨어 기반 비디오 디코딩 가속기입니다. 이를 통해 CPU의 부담을 줄이고, 다양한 비디오 코덱을 빠르게 인코딩 및 디코딩할 수 있습니다.
7. 랜더링 (Ray tracing)
Ray tracing 설명 페이지
NVIDIA의 RTX 기술은 실시간 레이 트레이싱을 지원하여 물리적으로 정확한 조명, 그림자 및 반사를 제공함으로써 매우 사실적인 렌더링을 실현합니다.
8. 각종 AI 엔터프라이즈 서비스 (런타임, 모델, 배포 등)
CUDA-X
CUDA-X 페이지
CUDA-X는 AI, 머신러닝, 딥러닝을 가속화하는 라이브러리 및 도구 모음으로, NVIDIA GPU에서 AI 애플리케이션의 성능을 극대화합니다.
Transformer Engine
Transformer Engine GitHub
Transformer Engine은 NVIDIA가 제공하는 고성능 트랜스포머 모델 최적화 도구로, 대규모 언어 모델의 학습 및 추론 속도를 향상시키는 데 사용됩니다.
changh95
논문 소개
GenWarp
https://github.com/user-attachments/assets/2fe2407b-89e7-4bbc-b611-5ebbe5f7bc92
ReconX
OmniRe
Improving 2D Feature Representations by 3D-Aware Fine-Tuning
https://github.com/user-attachments/assets/bdb788c9-afd3-4600-9466-230ff9d8b741
Tenstorrent CPU (Blackhole)
다음으로 미룹니다...
https://github.com/KennyWGH/indt_omp https://github.com/USTC-AIS-Lab/SI-LIO