Auto-coder 李宏毅

第8章 2021 - 自编码器 (Autoencoder) (第一部分) – 基本概念_哔哩哔哩_bilibili

OUTLINE

Basic idea of Auto-Encoder

Auto-Encoder也被视为一种Self-Supervised Learning的预训练方法（这种方法早在2006年就已经出现过）

Self-Supervised Learning的工作原理如下：首先你有大量的未标注数据，你需要设计一些无需标注数据的任务，例如填空题或者预测下一个token等任务。

在那些无需标注数据即可进行学习的任务中，在BERT出现之前，在GPT出现之前，实际上存在一个更为古老领域的技术——Auto-Encoder技术。另一个无需标注数据的传统领域正是Auto-Encoder技术。

Autoencoder的工作流程包括两个主要部分：编码器负责将输入数据映射到一个更低维的空间中；解码器则负责从这个低维空间中重建原始数据。值得注意的是，在这个过程中虽然信息被压缩以适应低维表示的需求；但系统却能够有效保留关键信息以实现重建任务

假设你在图像领域拥有海量的数据，在A