Ming-Lian commented 5 years ago

https://ming-lian.github.io/2019/07/22/Bioinfo-ML-Club-4th/

wuhao08 commented 5 years ago

chensole commented 5 years ago

pangkun97 commented 5 years ago

After the first contact with machine learning, I have the framework of machine learning and the understanding of several classifier principles

zoe106 commented 5 years ago

谢谢连明师兄的讲解~~笔记有点长，放在简书上了，https://www.jianshu.com/p/65807c4fdf9a

Wentting commented 5 years ago

感知机，SVM和逻辑斯谛回归

*感知机是一个线性的分类器，以二维的问题来说，如果数据线性可分，那么一定存在一些线，使得线两侧是两个不同的类 一个好的感知机模型：

误分类的点越少越好
误分类的点离分界面的距离之和越小越好
- 直觉上这样是更好的分类器，所以叫感知机？*
- 模型
- 优化
- 步长是自己定义的，可以决定一次下降多少进而不断迭代出最优结果，对于“局部最优解"即半山谷的情况，一种方法就是通过加大学习率，使得有可能一部跨过局部的最优解，还可以通过一次只对一个结果进行学习，不通过所有数据进行学习，这样每一次都是当前最佳的方向，这样也可以增大解的不确定性和震荡性，从而解决局部最优解的问题（不确定对不对） 感知机模型不考虑||w||，所以分类平面并不唯一？
- 猜测（不知道对不对）：感知机只是关注分类是不是正确，所以才不考虑l2范数，所以这也是支持向量机对于感知机改进的地方
  
  支持向量机
  
  个人理解： 支持向量机实在感知机基础上的一种改进，感知机只考虑正确分类，因此分界面不是唯一的。而SVM需要找到最优的超平面，学习的策略就是使间隔最大化，并最终转变为一个凸二次规划问题，因此可以将模型定义为在特征空间上间隔最大的线性分类器。

SVM的判别模型与感知机基本类似。但是对于好的分类面的定义不相同 一个好的SVM模型： 超平面能够让所有点中离它最近的点具有最大间距（支持向量）
函数间隔不适合用来最大化间隔值，因为在超平面固定以后，可以等比例地缩放w的长度和b的值，这样可以使得的值任意大，而几何间隔通过增加约束条件||w||,只随着超平面的变动而变动，所以最大化间隔max margin是几何间隔！
目标函数是二次的，约束条件是线性的，可以通过拉格朗日乘子法，利用拉格朗日对偶性变换到对偶变量 (dual variable) 的优化问题，即通过求解与原问题等价的对偶问题得到原始问题的最优解
拉格朗日乘子法的思想是给约束条件加上拉格朗日乘子，将约束条件融合到目标函数中

先写这么多，拉格朗日乘子法的坑之后补上

逻辑回归

我们一般熟悉的回归方式是线性回归，当y对x回归的时候，y有无数种取值可能，因此不能作为分类器使用，逻辑斯谛就是把y的取值变换成一个二分类的有限的取值，通过设置阈值进行分类
模型
优化

师兄讲的很好，自己推一遍再理解师兄讲的思路有很多收获，但是菜鸡如我还是有很多不太懂的，第一次打卡，以后慢慢填吧

gsh150801 commented 5 years ago

根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计 (实现路径之一，概率模型，本质是，将机器学习任务归结为计算变量的概率，其核心是基于可观测变量推断出位置变量的条件分布) (极大似然是对概率模型参数学习优化目标的一种定义，是道； EM算法是用于求解极大似然估计的一种迭代逼近的算法，是术；) (求解过程： ①定义优化目标：极大似然估计mle 只有可观测变量：贝叶斯分类器含有隐变量：隐马尔可夫模型 ②求解优化目标：标准方程法：一步到位获得最优解的策略迭代法(如剃度下降法，牛顿法，拟牛顿法，em算法)：先找一个随机解做为起始的当前解，然后对当前解进行迭代更新，保证每一次迭代后得到的新解朝着最优化的方向前进 ) ＃正经的笔记稍后再补上，好久没看数学，感觉要补的很多。背景知识要去看看😂 不懂的就查查参考书目

SZJShuffle commented 5 years ago

yueyang0907 commented 5 years ago

第一次打卡and第一次在github上回复😂，嘿嘿，谢谢明哥的分享~很高兴能加入兴趣小组呀！这次的笔记做的不是很好，挺乱的😂。。听了明哥的直播和结合了网上的资料。。。理解的不是很好哇调库说是简单，但是深入理解其中的推理，实属不易。。。【高数、线代、概率】 emm好啦，放上我的笔记。。##等以后在深入理解些，再来更改感知机 SVM 逻辑回归

Hua-CM commented 5 years ago

感知机、SVM与逻辑回归

感知机（perception）

感知机只能做到线性分类界面

分类界面(超平面)：

$$ w^Tx+b=0 $$

分类函数：1 if sign(*wx+b=0**) >1 else -1

点到界面的距离：

$$ r=\frac{w^Tx+b}{||w||} $$

推导过程：

假定有如下超平面，及超平面外一点x0，且记x0在该超平面上的投影为x1

$$ w^Tx+b=0 $$

则有：

$$ \vec{w}\vec{x_1x_0}=|\vec{w}||\vec{x_1x_0}|cos\Theta $$

式中w为法向量，显然这里的cosΘ=1，所以有

$$ \vec{w}\vec{x_1x_0}=|\vec{w}||\vec{x_1x_0}| $$

先算等式右边，记向量x0x1的长度为d，则右边等于：

$$ ||\vec{w}||d $$

再计算等式左边，根据坐标计算有

$$ \vec{w}\vec{x_1x_0}=w^1(x_0^1-x_1^1)+\cdots+w^N(x_0^N-x_1^N)\\ \quad\quad\quad\quad\quad\quad\quad=w^1x_0^1+\cdots+w^Nx_0^N-(w^1x_1^1+\cdots+w^Nx_1^N)\\ =w^Tx_0-(-b) $$

因为左右相等，所以不难计算出距离公式。