search

zjhellofss / KuiperInfer

校招、秋招、春招、实习好项目！带你从零实现一个高性能的深度学习推理库，支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step
MIT License
2.59k stars 295 forks source link

change the tensor and add gpu operater #29

Closed SuperCB closed 1 year ago

SuperCB commented 1 year ago

目前修改的内容 可能还存在一些bug

minleminzui commented 1 year ago

目前修改的内容 可能还存在一些bug

  • tensor的设计
  • 添加了一些算子
  • 添加了gpu_utils.cuh文件存放一些与CUDA相关的函数
  • 新增了tensor_util.cu文件存放gpu形式的tensor操作

老哥其实可以写下单测，不然不好验证正确与否:smile:

zjhellofss commented 1 year ago

@minleminzui review一下，给些建议

SuperCB commented 1 year ago

好的，我下面写一写单侧，主要想让你们看看设计上有没有不合理的地方

minleminzui commented 1 year ago

目前修改的内容 可能还存在一些bug

  • tensor的设计
  • 添加了一些算子
  • 添加了gpu_utils.cuh文件存放一些与CUDA相关的函数
  • 新增了tensor_util.cu文件存放gpu形式的tensor操作

commit也可以粒度更小一点

minleminzui commented 1 year ago

多分几个commit

SuperCB commented 1 year ago

好的，我下次多分一些commit