Open qzylalala opened 1 year ago
https://github.com/openmlsys/openmlsys-zh/blob/dbe4eee5b9b308f9230d3178e7f0fd1da7bd4f0a/chapter_backend_and_runtime/kernel_selecter.md?plain=1#L69-L80
这里我一直有一个疑问,现在支持把一个网络的算子 offload 到多个 backend 吗?
在为算子选择一个合适的 backend 时候考虑的事情感觉是十分复杂的,不能简单的认为这个后端更适合这个算子就直接 offload 到这个 backend。
举一个例子,一个网络前面的所有算子都非常适合 GPU,全部 offload 到 GPU 上,但是现在紧接着有一个 算子可能更适合 其他的 backend A,如果 offload 到 A 上的话,数据搬运的开销可能远远大于算子本身在 backend A 上执行带来的提升。
所以想请问一下,算子卸载一般是怎么做的呀,是会具体考虑到各种开销,然后去综合评估吗?
https://github.com/openmlsys/openmlsys-zh/blob/dbe4eee5b9b308f9230d3178e7f0fd1da7bd4f0a/chapter_backend_and_runtime/kernel_selecter.md?plain=1#L69-L80
这里我一直有一个疑问,现在支持把一个网络的算子 offload 到多个 backend 吗?
在为算子选择一个合适的 backend 时候考虑的事情感觉是十分复杂的,不能简单的认为这个后端更适合这个算子就直接 offload 到这个 backend。
举一个例子,一个网络前面的所有算子都非常适合 GPU,全部 offload 到 GPU 上,但是现在紧接着有一个 算子可能更适合 其他的 backend A,如果 offload 到 A 上的话,数据搬运的开销可能远远大于算子本身在 backend A 上执行带来的提升。
所以想请问一下,算子卸载一般是怎么做的呀,是会具体考虑到各种开销,然后去综合评估吗?