图嵌入降维算法——LSDA

0、前言

在前文内容中，已对边界Fisher分析（MFA）进行了详尽阐述。本文作为延续，将进一步探讨局部敏感判别分析（Locality Sensitive Discriminant Analysis，LSDA）的相关理论知识。随后的内容将转向对判别最大化边界投影（Discriminant Maximum Margin Projections，DMMP）方法的介绍与解析。

1、局部敏感判别分析（LSDA)理论

与前文所述的MFA方法不同，该方法在构建本征图和惩罚图时采取了不同的策略。MFA分别从每个样本中选取k个同类近邻用于构造本征图，并选取k个异类近邻用于构造惩罚图。而LSDA则首先为每个样本确定k个近邻，随后依据标签信息将这些近邻划分为同类和异类两类，再分别用于构建本征图与惩罚图。LSDA的核心目标是确定一个投影矩阵A，使得在高维空间中属于同一类别的近邻点经过投影后，在低维特征子空间中尽可能接近；同时确保在高维空间中属于不同类别的近邻点经过投影后，在低维特征子空间中尽可能远离。具体而言，该方法旨在同时优化以下两个目标：

LSDA所采用的优化目标函数表达式如下：