CS231n课程笔记

[Kinpzz]

CS231n 深度学习与计算机视觉

• Lesson 1：计算机视觉历史回顾与介绍 Date: 18th July
• Lesson 2：KNN与线性分类器 Date: 21th July
• Lesson 3：线性分类器损失函数与最优化 Date: 21th July
• Lesson 4：反向传播与神经网络初步 Date: 25th July
• Lesson 5：神经网络训练细节 part1 Date: 2th Aug
• Lesson 6：神经网络训练细节 part2 Date: 11th Aug

[Kinpzz]

Lesson 1

介绍了计算机视觉发展历史，ImageNet数据集及比赛成果。本课程着重于机器学习的深度学习在计算机视觉应用部分。

Lesson 2

本节课主要介绍了KNN分类器，但是它不适用于在图像分类上。如何通过cross-validation来选择最佳的k（hyperparamater）

介绍了神经网络在线性分类器上的应用。$$f(x_i, W, b) = Wx+b$$ （x维三通道彩色图像压平为1维向量），W每一行的意义“：代表了每一类的平均图像。

Lesson 3

• SVM loss
• Softmax loss
• Gradient
• Mini-batch optimization 加入weight regularization到loss中可以防止过拟合，提升模型的泛化能力Gradient Descent 通过神经网络可以自动提取图形特征，不用人为构建特征，如SIFT, Bag of Word.

Lesson 4

反向传播

前向传播：用于计算得到预期结果和loss, $$f = W Relu(x)$$ 反向传播：通过链式法则从后往前倒推出每一层的梯度，使用Optimizer如Gradient Descent来更新W使得loss趋近收敛

激励函数

使得神经网络得到非线性分类能力 最常使用Relu = Max(0,x)，也可以使用Leaky Relu，Elu， tanh 不使用sigmoid，容易梯度消失，不适合反向传播。

PS: 结合西瓜书理解反向传播的数学原理

Lesson 5

Data Processing

Data Normalizaiton

X -= np.mean(X, axis=0)
X /= np.std(X, axis=0)

Batch Normalization(BN)

learnable norm parameters

Lesson 6

Mini-batch SGD

[Kinpzz]

Lesson 8

Deeplearning software

Lesson 9

CNN

Lesson 10

RNN