Tjyy-1223 / Neurosurgeon

云边协同- collaborative inference 📚Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge
55 stars 8 forks source link

最优划分点选取问题 #12

Open FortuneBush opened 7 months ago

FortuneBush commented 7 months ago

博主你好,我想问一下,在部署阶段只生成对应的预测模型,但具体选取最优预测点应该是在运行阶段才执行的嘛? 我看博主的代码好像是在部署阶段就已经选取出了最优划分点。 我对这点不是很清楚,请教大佬!!! image image

Tjyy-1223 commented 7 months ago

抱歉,前段时间有点事情,没来得及回复。对于你的问题,回复如下:

1.按文章中的理解来看,部署阶段只是构建了预测器,具体执行过程中才开始取最优划分点。 2.我是按照模型的推理过程 = 部署阶段+云边协同推理阶段来的,所以部署阶段选择了划分点。正常的思路确实是将划分放在运行过程好一些,因为动态网络环境中要实时调整划分点。

这个其实没有必要具体纠结在什么时候进行划分点选取,根据你的理解来即可。

FortuneBush commented 7 months ago

非常感谢博主的回复!!!!还有一个问题想请教一下您,请问您得csv文件的收集是运用得nn-Meter框架来收集的实验数据吗?感谢回复!

Tjyy-1223 commented 6 months ago

这个不是,这个收集就是单独的创建一个dnn层并不断更改层的配置,推理时延就使用python自带的工具记录一下运行当前层的时间就行。