search

Project-HAMi / HAMi

Heterogeneous AI Computing Virtualization Middleware
http://project-hami.io/
Apache License 2.0
985 stars 200 forks source link

切分的颗粒度是多少？ #470

Open janetat opened 2 months ago

janetat commented 2 months ago

问题

  1. 算力、显存的切割颗粒度是多少呢？是否支持1%算力切割。
  2. 怎么验证算力切割颗粒度
archlitchi commented 2 months ago

device memory: 1M core util:1%

you can run a tensorflow-benchmark and compare the images/s result between 100% util and 50% util

janetat commented 2 months ago
  1. 如果设置的是1%的算力限制的话，tensorflow-benchmark能测试出来么？
  2. 是一个周期内平均下来的吞吐率是1%吗？
archlitchi commented 2 months ago
  1. 如果设置的是1%的算力限制的话，tensorflow-benchmark能测试出来么？
  2. 是一个周期内平均下来的吞吐率是1%吗？

yes to 2 questions

jessehu commented 1 month ago

hi @archlitchi, 请问是否存在这样的算力控制现象：GPU算力单元的利用率会超过设置的值（比如单卡切分为2卡，显存是控制住了50%，但某一张虚拟卡的算力利用率会在一些小时间段内超过50%）