定义

什么是模式？

广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。

• 模式所指的不是事物本身，而是从事物获得的信息
• 模式往往表现为具有时间和空间分布的信息。
  • 可观察性
  • 可区分性
  • 相似性

模式是取自世界有限部分的单一样本的被测量值的集合，模式识别试图确定一个样本的类的属性，即将某个样本赋给多个类中的某个类。

模式识别和机器学习的关系

机器学习利用大量的训练数据可以使模式识别获得更好的预测结果。

模式识别

目标

在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。

• 特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。
  • 所有样本的观测数据构成模式空间，其中挑选出的最能揭示样本属性的观测量的集合称为特征空间，特征空间进行分类决策后被塑造成类空间。
• 解释空间：将 个类别表示为 。
  • 即李教材所称类空间。

假说的获得方法

• 监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。
  • 由训练资料学到或建立一种学习模式，并根据该模式推测新的实例。一般使用“分类”表述监督学习。
    • 一般模型，即全域模型。
    • 区域模型，解决给定的问题。
• 非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。
  • 训练集中不存在人为标注的结果，一般称为“聚类”。
• 监督学习强调对应关系，非监督学习强调亲疏关系。

主要分类和学习方法

分类方法	分类	应用
数据聚类	非监督学习
统计分类	监督学习	生成式分类
结构模式识别	监督学习
神经网络	监督&非监督学习

学习方法	描述	应用
监督学习	使用有标记数据	统计分类、结构模式识别、多标记学习、Fisher、感知器算法、线性判别分析
半监督学习	使用无标注数据	降维方法K-L
非监督学习	混合使用无标注数据+有标注数据	数据聚类
集成学习
深度学习
元学习
多任务学习	共享相关任务之间的表征
多标记学习
对抗学习
迁移学习	训练数据与测试数据不是同分布的
增强学习	间接地标注数据状态和对应的reward
主动学习	主动选择训练数据

模式识别系统组成单元

数据获取

用计算机可以运算的符号表示所研究的对象。

预处理

去噪声、信号复原、提取有效信息。

往往需要将模拟量转换为数字量（A/D转换）。

特征提取和选择

压缩模式的维度，使之便于处理，减少消耗。

分类决策

在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。

机器学习系统组成单元

环境

系统的工作对象（包括外界条件），代表信息来源。

知识库

存储学习到的知识。

学习环节

是系统的核心模块，和外部环境的交互接口。

执行

根据知识库执行一系列任务，并把执行结果或执行过程中获得的信息反馈给学习环节。

模式识别与机器学习

主讲教师：黄庆明，苏荔

课外资料参考：

• 《模式识别与机器学习》李映
• https://zhuanlan.zhihu.com/p/597446179 复习笔记
• https://blog.csdn.net/sunzhihao_future/article/details/122315786 作业答案参考

表示

• 来自课程资料的内容为 黑色文字
• 来自课外资料的内容为 灰色文字
• 来自本人的想法和批注为 蓝色文字