原型聚类学习向量量化与Python实现

学习向量量化(Learning Vector Quantization)

学习向量量化（Learning Vector Quantization，简称LVQ）是一种原型聚类方法，其核心目标是确定一组代表不同簇的原型向量。每个原型向量对应一个特定的簇，并将整个数据空间划分为多个区域。对于任意给定的数据样本，都可以根据其与各簇中心的距离将其归入最近的簇中。与普通聚类方法不同的是，LVQ假设数据样本具有明确的类别标签，因此可以借助这些标签信息来优化聚类过程。

学习向量量化算法如下（摘自周志华《机器学习》）

输入：样本集 D = \left\{ (x_1, y_1), (x_2, y_2), \ldots, (x_m, y_m) \right\}；
原型向量的数量 q，以及每个原型向量对应的预设类别标记 \left\{ t_1, t_2, \ldots, t_q \right\}
学习率 \eta \in (0, 1)

过程：

1. 初始化一组原型向量 \left\{ p_1, p_2, \ldots, p_q \right\}
2. repeat
3. 从样本集中随机选取一个样本 (x_j, y_j)；
4. 计算该样本 x_j 与所有原型向量 p_i（其中 1 \leq i \leq q）之间