了解生成式模型与判别式模型的区别：Generative vs Discriminative Models
生成式模型（generative models）和判别式模型（discriminative models）是机器学习中常用的两种模型类型，它们分别从不同的角度对数据进行建模和分类。本文将介绍生成式模型和判别式模型的核心概念、特点以及区别。
生成式模型
生成式模型是通过建模观测数据和标签（或未观测的隐藏变量）的联合分布来进行学习和推断。它试图理解数据是如何生成的，以生成新的样本来模拟数据的分布特征。生成式模型能够对数据进行概率建模，即对给定数据生成新的样本，并可以对隐含变量进行条件推断。
生成式模型的经典例子是高斯混合模型（Gaussian Mixture Models，GMM）。GMM 假设数据是由多个高斯分布组合而成，通过学习每个高斯分布的参数，可以生成新的样本。
生成式模型的优点在于：
- 生成新的样本：生成式模型可以根据样本数据的分布生成新的样本，有助于扩充数据集。
- 缺失值填充：生成式模型可以预测缺失值，即使某些属性值缺失也能对样本进行生成和分类。
- 概率建模：生成式模型可以计算样本的概率，有利于进行概率推断和统计分析。
判别式模型
判别式模型则关注的是寻找一个决策面或者一个边界来将不同类别的样本进行分类。它直接对条件概率进行建模，通过对给定输入特征的条件下预测输出标签的概率分布进行学习和推断。
判别式模型的代表是逻辑回归（Logistic Regression）。逻辑回归通过学习特征与标签之间的关系，建立一个决策边界，来对未知样本进行分类预测。
判别式模型的优点在于：
- 直接分类：判别式模型通过直接学习特征与标签之间的映射关系，可以直接对未知样本进行分类。
- 高效训练：相对而言，判别式模型的训练速度通常比生成式模型更快。
区别和适用场景
生成式模型和判别式模型在以下几个方面有所不同：
- 建模目标：生成式模型关注数据的概率分布，而判别式模型关注条件概率分布。
- 缺失值处理：生成式模型可以处理数据缺失的情况，而判别式模型需要完整的输入特征。
- 维度灾难：生成式模型对维度增加较为敏感，而判别式模型相对不受维度限制。
- 数据样本量：生成式模型对样本量要求较高，尤其在高维数据时，需要更多的样本数据。判别式模型则对样本量要求相对较低。
根据不同的应用场景，我们可以选择使用生成式模型或判别式模型。生成式模型通常在样本较充分、缺失值较多的情况下使用。判别式模型通常在大规模、高维度的数据集上建模和分类效果更好。
总结起来，生成式模型和判别式模型分别从数据分布建模和分类边界建模两个角度对数据进行建模和分类。具体选择哪种模型取决于实际问题的需求和数据特点。 参考文献：