机器学习基础课程：Gaussian distribution

记号和术语

X \in R^{N*p} = (x_1, x_2, …, x_N)^T

x_i = (x_{i1}, ..., x_{ip})^T

表示数据共有N个样本，每个样本的维度是p。

iid指Independent and identically distributed（缩写：iid），它表明在该组随机变数中每一个体的概率分布均一致，并且这些随机变数之间相互独立。

MLE（Maximum Likelihood Estimation）是一种统计方法，在给定观测数据的情况下找到最可能的概率模型参数

MAP即其全称是Maximum posterior estimation（最大后验概率），考虑到被估计量的先验概率分布。

马氏距离即是Mahalanobis Distance是一种衡量多维空间中两点之间距离的方法它改进了欧几里得距离在各个维度尺度不一致且存在相关性时起到重要作用

统计与概率

频率派/统计学

在其中\theta是一个参数。假设独立同分布的情况下，在观测到数据的N个样本时的概率为p(X|\theta) = \prod_{i=1}^N p(x_i|\theta)。可以通过最大似然估计法来求解θ。

$\theta^* = argmax_{\theta} logp(X|\theta) = argmax_{\theta}