博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Set_ML
阅读量:6694 次
发布时间:2019-06-25

本文共 954 字,大约阅读时间需要 3 分钟。

参考资料:斯坦福(http://cs231n.github.io/linear-classify/;http://cs231n.stanford.edu/slides/2017/)

     Mastering Machine Learning With scikit-learn

 

 

  • 假设函数(Hypothesis Function)模型的知识表达:

  然后利用已知的数据对其中的参数进行求解,再将该函数用于新数据的预测,其中参数的求解过程称为“训练(Training) or 学习(Learning)

  • 待优化参数 θ0,θ1

  • 损失函数(loss function),或叫代价函数(cost function)

  损失函数越小,就代表模型拟合的越好。

  • 损失函数最小目标转换为经验风险最小化

  由于我们输入输出的 (X,Y) 遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集, f(X) 关于训练集的平均损失称作经验风险(empirical risk),即 \frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i})) ,所以我们的目标就是最小化 \frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i})) ,称为经验风险最小化

  • 结构风险

  为了平衡经验风险最小化目标与模型的复杂性(模型对数据的记性)引入结构风险,常用方法L1和L2范数。

  • 目标函数

最终的优化函数是:min\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))+\lambda J(f) ,即最优化经验风险和结构风险,而这个函数就被称为目标函数

 

线性可分

 

  • 线性回归与分类

  变换后:

 

 

  线性回归

 

LinearRegression 回归

 

  • 模型—线性最小二乘法(linear least squares)
  • 函数表示—f(xi,W,b)=Wxi+b
  • 损失函数—残差平方和(residual sum of squares)损失函数

   多元

  多项式回归

 

 

 

  线性分类

  • 二分类

Logistic 分类器

 

  • 模型—Bernoulli(伯努利) 分布
  • 函数表示—logistic函数(sigmoid函数)

  

  • 多类

SVM

  • 损失函数—折叶损失(hinge loss)

softmax

  • 损失函数 —交叉熵损失(cross-entropy loss)

SVM vs. Softmax

 线性不可分

SVM

ANN

 

转载于:https://www.cnblogs.com/JueJi-2017/p/7492474.html

你可能感兴趣的文章
java.util.zip - Recreating directory structure(转)
查看>>
无需写try/catch,也能正常处理异常
查看>>
(原创)优酷androidclient 下载中 bug 解决
查看>>
Web 前端攻防(2014版)-baidu ux前端研发部
查看>>
[歪谈]拽一个贵人出来给你"当炮架子"
查看>>
用TextPaint来绘制文字
查看>>
iOS开发-Get请求,Post请求,同步请求和异步请求
查看>>
关于 ioctl 的 FIONREAD 參数
查看>>
[翻译] IQAudioRecorderController
查看>>
Linux命令-目录处理命令:mkdir
查看>>
js两个小技巧【看到了就记录一下】
查看>>
[React] React Fundamentals: Accessing Child Properties
查看>>
C#发送电子邮件 (异步) z
查看>>
SQL Server CLR全功略之一---CLR介绍和配置
查看>>
struts2.1.6教程二、struts.xml配置及例程
查看>>
memcached client --ref
查看>>
Oracle PL/SQL之LOOP循环控制语句
查看>>
Codeforces Round #301 (Div. 2) C. Ice Cave BFS
查看>>
logcat使用
查看>>
ajax请求模拟登录
查看>>