1.3　机器学习的分类

1．基于所获取知识的表示形式分类

学习系统获取的知识可能有行为规则、物理对象的描述、问题求解策略、各种分类及其他用于任务实现的知识类型。

根据表示的精细程度，可将知识表示形式分为两大类：泛化程度高的粗粒度符号表示、泛化程度低的精粒度亚符号（Sub-symbolic）表示。决策树、形式文法、产生式规则、形式逻辑表达式、框架和模式等属于符号表示类；代数表达式参数、图和网络、神经网络等属于亚符号表示类。

对于学习中获取的知识，主要有以下一些表示形式：

（1）代数表达式参数

学习的目标是调节一个固定函数形式的代数表达式参数或系数来达到一个理想的性能。

（2）决策树

用决策树来划分物体的类属，树中每一内部节点对应一个物体属性，而每一边对应于这些属性的可选值，树的叶节点则对应于物体的每个基本分类。

（3）形式文法

在识别一个特定语言的学习中，通过对该语言的一系列表达式进行归纳，形成该语言的形式文法。

（4）产生式规则

产生式规则表示为“条件-动作对”，已被极为广泛地使用。学习系统中的学习行为主要是生成、泛化、特化（Specialization）或合成产生式规则。

（5）形式逻辑表达式

形式逻辑表达式的基本成分是命题、谓词、变量、约束变量范围的语句，以及嵌入的逻辑表达式。

（6）图和网络

有的系统采用图匹配和图转换方案来有效地比较和索引知识。

（7）框架和模式（Schema）

每个框架包含一组槽，用于描述事物（概念和个体）的各个方面。

（8）计算机程序和其他的过程编码

获取这种形式的知识，目的在于取得一种能实现特定过程的能力，而不是为了推断该过程的内部结构。

（9）神经网络

这主要用在联接学习中。学习所获取的知识，最后归纳为一个神经网络。

（10）多种表示形式的组合

有时一个学习系统中获取的知识需要综合应用上述几种知识表示形式。

2．按应用领域分类

最主要的应用领域有专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图像识别、故障诊断、自然语言理解、机器人和博弈等。

从机器学习的执行部分所反映的任务类型上看，大部分的应用研究领域基本上集中于以下两个范畴：分类和问题求解。

（1）分类任务要求系统依据已知的分类知识对输入的未知模式（该模式的描述）做分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。

（2）问题求解任务要求对于给定的目标状态，寻找一个将当前状态转换为目标状态的动作序列；机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识（如搜索控制知识、启发式知识等）。

3．综合分类

综合考虑各种学习方法出现的历史渊源、知识表示、推理策略、结果评估的相似性、研究人员交流的相对集中性以及应用领域等诸因素。将机器学习方法区分为以下6类：

（1）经验归纳学习（Empirical Inductive Learning）

经验归纳学习采用一些数据密集的经验方法（如版本空间法、ID3法、定律发现法）对例子进行归纳学习。其例子和学习结果一般都采用属性、谓词、关系等符号表示。它相当于基于学习策略分类中的归纳学习，但扣除联接学习、遗传算法、增强学习的部分。

（2）分析学习（Analytic Learning）

分析学习方法是从一个或少数几个实例出发，运用领域知识进行分析。其主要特征为：

·　推理策略主要是演绎，而非归纳。

·　使用过去的问题求解经验（实例）指导新的问题求解，或产生能更有效地运用领域知识的搜索控制规则。

分析学习的目标是改善系统的性能，而不是新的概念描述。分析学习包括应用解释学习、演绎学习、多级结构组块以及宏操作学习等技术。

（3）类比学习

它相当于基于学习策略分类中的类比学习。在这一类型的学习中比较引人注目的研究是通过与过去经历的具体事例做类比来学习，称为基于范例的学习（Case-based Learning），或简称范例学习。

（4）遗传算法（Genetic Algorithm）

遗传算法模拟生物繁殖的突变、交换和达尔文的自然选择（在每一生态环境中适者生存）。它把问题可能的解编码为一个向量（称为个体，向量的每一个元素称为基因），并利用目标函数（相应于自然选择标准）对群体（个体的集合）中的每一个个体进行评价，根据评价值（适应度）对个体进行选择、交换、变异等遗传操作，从而得到新的群体。遗传算法适用于非常复杂和困难的环境，比如带有大量噪声和无关数据、事物不断更新、问题目标不能明显和精确地定义，以及通过很长的执行过程才能确定当前行为的价值等。同神经网络一样，遗传算法的研究已经发展为人工智能的一个独立分支，其代表人物为霍勒德（J.H.Holland）。

（5）联接学习

典型的联接模型实现为人工神经网络，其由称为神经元的一些简单计算单元以及单元间的加权联接组成。

（6）增强学习（Reinforcement Learning）

增强学习的特点是通过与环境的试探性（Trial and Error）交互来确定和优化动作的选择，以实现所谓的序列决策任务。在这种任务中，学习机制通过选择并执行动作，导致系统状态的变化，并有可能得到某种强化信号（立即回报），从而实现与环境的交互。强化信号就是对系统行为的一种标量化的奖惩。系统学习的目标是寻找一个合适的动作选择策略，即在任一给定的状态下选择哪种动作的方法，使产生的动作序列可获得某种最优的结果。

在综合分类中，经验归纳学习、遗传算法、联接学习和增强学习均属于归纳学习，其中经验归纳学习采用符号表示方式，而遗传算法、联接学习和增强学习则采用亚符号表示方式；分析学习属于演绎学习。

4．学习形式分类

（1）监督学习（Supervised Learning）

监督学习在机械学习过程中提供对错指示。通过算法让机器自我减少误差。这一类学习主要应用于分类和回归（Classify & Regression，也称为分类和预测）。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。

（2）无监督学习（Unsupervised Learning）

无监督学习又称归纳性学习（Clustering），利用K方式（K-Means）建立中心（Centriole），通过循环和递减运算（Iteration & Descent）来减小误差，以达到分类的目的。