机器学习的关键元素介绍【大数据培训】

                                               先复习下监督学习的关键概念：模型(model)、参数(parameters)、目标函数(objective function)模型就是所要学习的条件概率分布或者决策函数，它决定了在给定特征向量x时如何预测出目标y。

定义任意x（属于R）为训练集中的第i个训练样本，则线性模型（linear mode）可以表示为：

模型预测的分数y^i在不同的任务中有不同的解释。例如在逻辑回归任务中，

表示模型预测为正例的概率；而在排序学习任务中， 表示排序分。

参数就是我们要从数据中学习得到的内容。模型通常是由一个参数向量决定的函数。例如：线性模型的参数可以表示为：

目标函数通常定义为如下形式：

其中， 是损失函数，用来衡量模型拟合训练数据的好坏程度； 称之为正则项，用来衡量学习到的模型的复杂度。训练集上的损失（Loss）定义为：

常用的损失函数有平方损失（square loss）：

logistic 损失：

常用的正则项有L1范数：

常用的正则项有L2范数：

Ridge regression就是指使用平方损失和L2范数正则项的线性回归模型；
Lasso regression就是指使用平方损失和L1范数正则项的线性回归模型；
逻辑回归（Logistic regression）指使用logistic损失和L2范数或L1范数正则项的线性模型

目标函数之所以定义为损失函数( )和正则项( )两部分，是为了尽可能平衡模型的偏差和方差(Bias Variance Trade-off)

最小化目标函数意味着同时最小化损失函数和正则项，损失函数最小化表明模型能够较好的拟合训练数据，一般也预示着模型能够较好地拟合真实数据(groud true)

另一方面，对正则项的优化鼓励算法学习到较简单的模型，简单模型一般在测试样本上的预测结果

比较稳定、方差较小(奥坎姆剃刀原则)。也就是说，优化损失函数尽量使模型走出欠拟合的状态，优化正则项尽量使模型避免过拟合。

从概念上区分模型、参数和目标函数给学习算法的工程实现带来了益处，使得机器学习的各个组成部分之间耦合尽量松散。

---

推荐了解热门学科

java培训	Python人工智能	Web前端培训	PHP培训
智能机器人软件开发	影视制作培训	C++培训	产品经理培训
UI设计培训	新媒体培训	产品经理培训	Linux运维
大数据培训

以下是黑马程序员热门视频教程，欢迎学习关注！

Python入门教程完整版（懂中文就能学会）【点击】	零起点打开Java世界的大门【点击】
C++| 匠心之作 从0到1入门学编程【点击】	PHP|零基础入门开发者编程核心技术【点击】
Web前端入门教程_Web前端html+css+JavaScript【点击】	软件测试入门到精通【点击】