search

wangshusen / DeepLearning

Other
3.56k stars 811 forks source link

Questions about Differentiable Neural Architecture Search #9

Open buttercutter opened 3 years ago

buttercutter commented 3 years ago

image

问题 1: https://www.bilibili.com/video/BV1C64y127Fv 时间: 10:26

θ 不是张量 (看时间：7:00)，所以卷积层block 的输出 不等于 θ

那么 卷积层block 的输出 怎么生成 θ 呢 ？

Question 1: https://youtu.be/D9m9-CXw_HY?t=626

θ is not a tensor (check video at t=7:00), so the convolutional block output is not equal to θ

So, how does the convolutional block generate θ ?

image

问题 2: 在 https://github.com/D-X-Y/AutoDL-Projects/issues/99#issuecomment-835802887 和 GDAS 文献 的式子 (7) 里，如何在两个节点之间的多个平行 的连接线 进行反向传播的运作 ？

Question 2: For https://github.com/D-X-Y/AutoDL-Projects/issues/99#issuecomment-835802887 and equation (7) of GDAS paper , how to do backpropagation across multiple parallel edges between two nodes ?

wangshusen commented 3 years ago
  1. Theta 不是神经网络的输出，而是预先定义的变量，比如初始化为 9x1 的全 1 向量，然后用反向传播做更新。
  2. 你可以复习一下多元函数的链式法则。比如 a = f(x), b = g(x), c = h(a, b), 该如何求 c 关于 x 的导数。
buttercutter commented 3 years ago
  1. 明白了，谢谢。
  2. 在正常的反向传播中，两个节点之间只有一条连接线。 但是在 GDAS 里，两个节点之间有多个平行的连接线 ?

image