search

fnzhan / UNITE

[CVPR 2022 Oral] Marginal Correspondence for Conditional Image Generation, [CVPR 2021] Unbalanced Feature Transport for Exemplar-based Image Translation
192 stars 26 forks source link

关于论文中UOT的问题 #4

Open DanJun6737 opened 2 years ago

DanJun6737 commented 2 years ago

您好，我仔细阅读你的论文后有两个疑问：1. 论文中Figure2处，是把 原始特征X 向Z传输对齐后的特征X_new 继续输出进绿色网络吗？还是说依然把X输入绿色网络。我暂时没有在论文中找到这个问题的解释。 2. 如果是把对齐后的特征X_new输入进绿色网络，那么请问是怎么得到的X_new的呢？我理解的UOT是可以得到transport plan T 和 distance，但是还不清楚怎么得到映射后的特征，求解答？十分感谢

fnzhan commented 2 years ago

你好，通过X和Z之间最优传输，可以得到一个矩阵（Transport Plan），然后通过这个矩阵特征Z会向X对齐得到aligned features (图中的特征热力图)。aligned features会和原始X一起输入到生成网络当中（绿色部分）。映射后的特征就是简单的把transport plan和特征Z做个外积。

DanJun6737 commented 2 years ago

您好，请问您说的“ 把transport plan和特征Z做个外积 ”，此处的外积是指 普通的矩阵乘法 或者 矩阵向量乘法 吗 ？

DanJun6737 commented 2 years ago

因为我暂时没有在网上找到有关矩阵外积的定义，只找到一些向量外积的定义，所有不太清楚您这里所谓的外积是指什么意思？

fnzhan commented 2 years ago

因为我暂时没有在网上找到有关矩阵外积的定义，只找到一些向量外积的定义，所有不太清楚您这里所谓的外积是指什么意思？

可以看下cocosnet 文章里面的公式（3）和（4），https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhang_Cross-Domain_Correspondence_Learning_for_Exemplar-Based_Image_Translation_CVPR_2020_paper.pdf