MLBox中的EntityEmbedding在PyTorch框架下重构

文章结构概述

• 实体嵌入(Entity Embeddings)的定义
  • • 独热编码方式
    • 标签编码方法
    • 实体嵌入技术

  • 基于PyTorch实现MLBox中的EntityEmbedding模块

  • • 确定对应的嵌入向量维度
    • 计算多层感知机隐藏层的神经元数量
    • 建立各类别对应的线性嵌入结构
    • 构建中间两个隐藏层网络
    • 搭建最终的输出层结构
    • 执行权重初始化操作

  • 实验部分

  • 结论分析

什么是实体嵌入(Entity Embeddings)

在解决机器学习相关问题的过程中，存在一个关键性议题亟需深入探讨：怎样对数据集中的分类变量进行有效编码？

针对分类变量的编码，通常采用的两种基础方式分别为独热编码（onehot encoding）以及标签编码（label encoding）。

独热编码

从直观角度理解，这种编码方式的特征在于其状态数量与比特数相对应，且在每一组编码中仅有一个比特位被置为1，其余所有比特位均保持为0。

标签编码

将分类变量转换为连续的数值形式。

例如：

假设有三种颜色属性：红、黄、蓝。为了将其转化为可计算的形式，我们需要进行向量表示或数字编码。

此时，可以设定红=1，黄=2，蓝=3，这种方法即为标签