机器学习系列手记第八期：取样的常见方法

采样

常见采样方法概述

在描述随机变量的概率分布特征时，通常采用概率密度函数作为刻画工具。具体而言，当给定随机变量的某一特定取值时，可以通过该密度函数来计算该取值所对应的概率（密度）。相反地，若依据概率密度函数所提供的分布信息生成随机变量的一个具体数值，则这一过程被称为采样。因此，从某种角度而言，采样可以被视为概率密度函数的逆向操作。与根据概率密度函数直接计算样本点的概率值不同，采样过程往往较为复杂，并且通常需要结合待采样分布的特性选择相应的采样方法。
几乎所有采样技术的基础操作都依赖于均匀分布的随机数生成。假设当前已具备生成[0,1]区间内均匀分布随机数的能力，例如针对邮箱离散分布的情况，可通过轮盘赌算法实现采样。然而，在面对许多难以直接进行采样的分布时，则可考虑采用函数变换的方法加以处理。一般来说，若存在两个随机变量 x 与 u 之间的变换关系 u=\phi(x) ，则它们之间的概率密度函数将呈现出如下关联：

因此，当从目标分布 p(x) 中难以直接获取样本 x 时，可以设计一个映射关系 u=\phi(x) ，使