ML Tasks Image Segmentation UNet

[junxnone]

Reference

• 官方实现Github - caffe
• Github repo - keras - zhixuhao
• image-segmentation-keras
• U-Net: Convolutional Networks for Biomedical Image Segmentation
• isbi_challenge
• Intel unet
• paper -U-Net: Convolutional Networks for Biomedical Image Segmentation - - Download
• unet网络结构说明及keras实现详解
• unet - keras - intelAI
• U-Net - Convolutional Networks for Biomedical Image Segmentation论文翻译——中英文对照
• Implementation of U-Net architecture using Pytorch.
• 用U-Net做Auto-Encoder图像重建
• UNet-family

Brief

• unet 网络用于图像分割任务
• 基于 FCN , 扩大了网络框架，使其能够使用很少的训练图像就得到很 精确的分割结果。

---

• 上采样部分有大量的特征通道，允许网络将上下文信息传播到具有更高分辨率的层
• 网络没有任何全连接层，仅使用每个卷积的有效部分，即分割映射仅包含在输入图像中可获得完整上下文的像素。该策略允许通过重叠图像区策略无缝分割任意大小的图像
• 使用弹性变形( elastic deformations)来进行数据增强
• 使用加权损失，其中接触单元之间的分离背景标签在损失函数中获得较大的权重。

网络结构

• part1 - 下采样，池化, 不同的卷积，学习深层次的特征
• part2 - 上采样, 反卷积, 恢复原图大小
• 最后会使用 sigmoid 或 softmax 来实现二分类或多分类
• 输出为一张像素级的概率图或者概率矩阵

MobileNet-UNet

• MobileNet 最为backbone产生feature map
• UNet UpSampling 部分 + sigmoid 或 softmax 来实现二分类或多分类

Vanilla-Unet - 即 原版Unet

看到 divamgupta/image-segmentation-keras 中使用了vanilla_encoder, 然后查到一个英文梗：

• vanilla 的原意是香草，而香草口味的冰淇淋被吐槽和原味没什么区别，所以香草就有了原汁原味的意思

UNet vs FCN

• U-Net采用了与FCN不同的特征融合方式
  • FCN 中 Pool4/Pool3 中的feature map 是通过逐点相加(Add)的方式进行特征融合的
  • U-Net使用Concat Layer将特征在channel维度拼接在一起，形成更“厚”的特征

Image Augmentation

• 3 x 3 grid smooth deformations
  • random displacement vectors
  • Gaussian distribution
  • bicubic interpolation 方法计算位移

Test Result

[junxnone]

junxnone/aiwiki#159 junxnone/ml#56