吴恩达机器学习课程笔记

[NarcissusInMirror]

P10

• 关于学习率的直觉：

  P11线性回归的梯度下降

• 线性回归的loss function是凸函数，没有局部最优解，只有全局最优解。

  P14矩阵和向量

• 向量：n*1 n行，1列

P15

• 代表第i个样本的第j个特征的取值

P17矩阵的逆和转置

• 不可逆矩阵成为奇异矩阵(singular matrix)或退化矩阵(degenerate matrix)

P22 特征和多项回归

• 如果想用多项式拟合数据，可以选择的方法是将特征的若干次幂作为新特征，再进行线性回归。这里要注意特征的缩放。

P23 Normal Equation正规方程

• 在线性回归中，可以使用正规方程直接算出使损失函数最小的参数值，而梯度下降法则需要自己设定学习率并且经过若干迭代才能最小化损失函数
• 当特征数目少于10000时正规方程是不错的选择，但当特征数目大于这个数目时，计算会变得非常慢。
• 在其他的算法问题中，正规方程也是不适用的
• 一组数据用一个列向量表示……列向量转置……

P24 正规方程中矩阵不可逆

• 

  Logistic Regression

P32 分类问题

• logistic regression 虽然是叫regression但是个分类算法。（分类问题&回归问题）

P33 假设陈述

• sigmoid function = logistics function

P34 决策边界 Decision Boundary

P35 Cost Function （其实就是交叉熵）

• 如果做logistic regression仍使用线性回归的cost function，则cost function是一个非凸函数（如下图左），有很多局部最优解，这一现象是由sigmoid函数的非线性导致的，因此需要修改cost function
• cost function的选取如下，是一个分段函数。y=1时（即真实标签为1），如果判断出的结果为0，则会导致损失函数非常大（正无穷）；同样的，y=0时如果判断结果为1也会使loss值很大，从而达到损失函数的目的

  P38 多元分类：一对多

• 思路是训练n个一对多的分类器，预测时将样本送进n个分类其中，选择使最大的分类器

正则化 Regularization 在另一个issue也提到了这个问题

P39 Overfitting

• Linear Regression & Logistic Regression（classification）直观区别

P40 Cost Function

• 直观上说，增加更多的高阶项（即增加了更多的参数theta）可以让决策边界更加弯曲（这里的高阶项是现有feature若干次幂的组合，比如数据有两个特征x1和x2，高阶项可能是x1^2, x2^2, x1x2, x1x2^2...，因此数据可以用P39中两个坐标轴组成的坐标系表示），因此解决这一问题的思想就是减小相应的theta值。一般采用的方法就是在loss function添加正则项，这个正则项其实就是所有参数的平方和，这样一来就可以在减小loss function的同时减小theta了

Advice for applying machine learning

diagnosing bias & variance

• 出现bias问题对应着underfitting，variance问题对应着overfitting
• 这里的高bias问题对应着拟合多项式的次数过低，即欠拟合；高variance对应着拟合多项式的次数过高，即过拟合。对应到训练结果上就是验证集的损失高+训练集的损失高就是欠拟合，验证集的损失高+训练集的损失低对应过拟合。

  regularization and bias & variance

  learning curve

  当处于high bias时，增加数据样本对于提升模型性能是没有用的，如上图右侧所示 high variance的特点是验证集的loss和测试集的loss相差较大，此时增加训练样本对是有用的

  deciding what to do next

  

  Machine learning system design

  Error analysis

  

SVM

SVM参数选择