有监督学习

定义

从有标记的训练数据中学习推断函数。

有监督学习算法分析训练数据，产生推断函数。推断函数能够对新的样本进行预测。

目标

使生成的算法能够准确地对没见过的样本进行正确地分类。

目标函数

或

主要方法

GM（生成模型）、DM（判别模型）、DF（判别函数）

生成式（产生式）模型

• 首先，对联合分布进行推断：
  • 
• 然后，使用贝叶斯定理计算条件分布：
  • 
• 最后，利用条件概率预测样本。

判别式模型

直接估计条件概率 或条件概率密度函数 ，根据估计确定输出。

判别函数

寻找一个函数 ，将每个输入直接映射到输出。概率不起直接作用，无法直接得到后验概率。

回归任务

线性回归

线性函数的最优化问题为 。

对 求导，得梯度 。

令梯度等于 ， 得 。

最小二乘/均方估计

定义动态调整的学习率