为了简化运算并避免数值问题
发布时间
阅读量:
阅读量
不仅仅是减少计算量
在计算一个独立同分布数据集的联合概率时,如:
其联合概率是每个数据点概率的连乘:
两边取对数则可以将连乘化为连加
乘法转换为加法运算后会降低计算复杂度;特别是在涉及具有指数形式的概率分布时(如高斯分布),这种转换还能进一步优化计算过程;此外,在处理联合概率分布时(尤其是当涉及多个变量的联合情况),使用和的形式进行运算通常比使用积的形式更为便捷
但其实关键的一点在于:由于这些概率值均处于[0,1]区间内,在计算过程中将所有这些概率相乘会导致其结果成为一个非常小的数值。这可能导致浮点运算下溢现象发生,并且当处理的数据集规模较大时,在计算联合概率时会出现趋近于零的情况。这样的情况在后续计算中显然是不利的
取对数不影响单调性
p(x∣Θ_{1})>p(x∣Θ_{2})⇔\ln p(x∣Θ_{1})>\ln p(x∣Θ_{2})

因为其一致的单调特性(即相同变量下的增长速率),该方法保证了最大可能值的自然对数值出现在原始概率函数对应的点上。由此可见,在处理这类问题时,我们可以用更简单的对数似然函数来替代原来的复杂计算。
全部评论 (0)
还没有任何评论哟~
