一、高斯混合模型

对一一组没有任何干扰差异的样本，其特征分布从统计学来说只受随机因素影响，服从单一分布。经典的单一分布就是高斯分布：

$$\mathcal{N}(\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$

然而对于现实样本，往往存在不同的类型，各自具有各自的分布。因此总群体呈现混合分布。混合分布模型就是通过将总分布分解若干个单一分布的统计学模型。而高斯混合模型就是假设每个亚类型的分布都是高斯分布。对于$K$个高斯分布组成的混合模型，假设随机变量$X={X_1,X_2,\cdots,X_n}$代表了一群混合类型样本的特征，那么对于任意特征$X_i$均服从一个高斯分布，这个分布由随机变量$Z={Z_1,Z_2,\cdots,Z_K}$代表，$Z$可能是$K$个分布中的任意一个，则其概率分布为$P(Z)$$P(X|Z_k)=\mathcal{N}(X|\mu_k,\Sigma_k)$则是第k个高斯分布表示。混合计算分布如下式。

$$P(X) = \sum_{k=1}^KP(Z_k)P(X|Z_k)=\sum_{k=1}^KP(X,Z_k)$$

可以注意高斯混合分布和特征随机变量X和亚型（分布）随机变量Z的联合分布P(X,Z)，高斯混合模型学习的过程是学习这个混合分布，因此高斯混合模型是一个经典的生成模型。可以用$P(Z)$随机选择一个分布模型$P(X|Z_k)$，来随机生成特征$X$。高斯混合模型使用最大期望（Expectation Maximization，EM）算法来优化，其目标函数数学期望。

$$L(x)=\sum_{j=1}^N\log\sum_{k=1}^KP(Z_k)\mathcal{N}(X|\mu_k,\Sigma_k)$$

优化时，先固定$P(X|Z_k)$优化$P(Z_k)$，然后固定$P(Z_k)$优化$P(X|Z_k)$。整个优化过程是无监督的过程，因此高斯混合模型常用于聚类分析。

参考资料

• https://www.zhihu.com/topic/20326197/intro
• https://blog.csdn.net/bashendixie5/article/details/124891359
• https://blog.csdn.net/zfhsfdhdfajhsr/article/details/127218462?spm=1001.2014.3001.5501