笔记-U-Net

[lartpang]

网络结构流程

1. 使用全卷积神经网络：全卷积神经网络就是卷积取代了全连接层，全连接层必须固定图像大小而卷积不用，所以这个策略使得，你可以输入任意尺寸的图片，而且输出也是图片，所以这是一个端到端的网络。
2. 左边的网络contracting path： 使用卷积和maxpooling。
3. 右边的网络expansive path： 使用上采样与左侧contracting path ,pooling层的feature map相结合，然后逐层上采样到392X392的大小heatmap。

   pooling层会丢失图像信息和降低图像分辨率且是不可逆的操作，对图像分割任务有一些影响，对图像分类任务的影响不大. 为什么要做上采样？：因为上采样可以补足一些图片的信息，但是信息补充的肯 定不完全，所以还需要与左边的分辨率比较高的图片相连接起来（直接复制过来再裁剪到与上采样图片一样大小），这就相当于在高分辨率和更抽象特征当中做一个折衷，因为随着卷积次数增多，提取的特征也更加有效，更加抽象，上采样的图片是经历多次卷积后的图片，肯定是比较高效和抽象的图片，然后把它与左边不怎么抽象但更高分辨率的特征图片进行连接.

4. 最后再经过两次卷积，达到最后的heatmap，再用一个1X1的卷积做分类，这里是分成两类，所以用的是两个神经元做卷积，得到最后的两张heatmap，例如第一张表示的是第一类的得分（即每个像素点对应第一类都有一个得分），第二张表示第二类的得分heatmap，然后作为softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练

参考链接

• https://blog.csdn.net/jianyuchen23/article/details/79349694

[lartpang]

卷积层的数量大约在20个左右，4次下采样，4次上采样。输入图像大于输出图像，因为在本论文中对输入图像做了镜像操作。

我们架构中的一个重要修改是在上采样部分中我们还有大量的特征通道，这些通道允许网络将上下文信息传播到更高分辨率的层。因此，扩展路径或多或少地与收缩路径对称，并且产生u形结构。

网络没有任何完全连接的层，只使用每个卷积的有效部分，即分割图仅包含像素，在输入图像中可以获得完整的上下文。这种策略允许通过以下方式无缝分割任意大的图像。overlap-tile策略（参见图2）。为了预测图像边界区域中的像素，通过镜像输入图像来外推丢失的上下文。这种平铺策略对于将网络应用于大图像是重要的，因为其他分辨率将受到GPU存储器的限制。

U-net没有FC层，且全程使用valid来进行卷积，这样的话可以保证分割的结果都是基于没有缺失的上下文特征得到的，因此输入输出的图像尺寸不太一样(但是在keras上代码做的都是same convolution)，对于图像很大的输入，可以使用overlap-strategy来进行无缝的图像输出。

https://www.jianshu.com/p/f9b0c2c74488

至于我们的任务，很少有可用的训练数据，我们通过对可用的训练图像应用弹性变形来使用过度数据增强。这允许网络学习这种变形的不变性，而不需要在注释的图像语料库中看到这些变换。这在生物医学分割中尤其重要，因为变形曾经是组织中最常见的变异， 并且真实的变形可以被有效地模拟。

Dosovitskiy等人在无监督特征学习的范围内已经证明了学习不变性的数据增加的价值。

许多细胞分割任务中的另一个挑战是分离同一类的接触对象。为此，我们建议使用加权损失，其中接触单元之间的分离背景标签在损失函数中具有较大的权重。

由此产生的网络适用于各种生物医学分割问题。

展示了EM Stacks中神经元结构分割的结果（ISBI 2012开始的持续竞争），这里效果优秀。

此外，在2015年ISBI细胞追踪挑战的光学显微镜图像中显示了细胞分割结果。在这里，我们在两个最具挑战性的2D透射光数据集上获得了很大的优势。

[lartpang]

网络架构如图1所示。它由一个收缩路径（左侧）和一个扩展路径（右侧）组成。签约路径遵循卷积网络的典型架构。它包括重复应用两个3x3卷积（非填充卷积），每个卷积后跟一个整数线性单位（ReLU）和一个2x2最大汇集操作，步长2用于下采样。在每个下采样步骤中，我们将特征通道的数量加倍。扩展路径中的每一步都包括对特征映射的上采样，然后是2x2卷积（\ up-convolution“），其将特征通道的数量减半，与来自收缩路径的相应裁剪的特征映射串联，以及两个3x3卷积，每个接下来是ReLU。由于边界像素不能卷积，裁剪是必要的。在最后一层，使用1x1卷积将每个64分量特征向量映射到所需的类数。总共有23个网络卷积层。

[lartpang]

https://blog.csdn.net/qq_26020233/article/details/82990214