机器学习入门级nonlinear transformation（Python版）

引言

在之前讲述过的分类问题中，在涵盖的分类模型仅限于线性的方面进行了讨论。而在非线性变换这一节中，则将模型扩展至非线性情况以便对数据进行分类。

二次假设(Quadratic Hypotheses)

通过前面的例子可以看出，在左侧图表中（Φ假设），圆圈与红叉的数据无法通过一条直线实现有效的分类划分；然而，在右侧图表中（真实情况），我们可以利用一个更大的圆圈来实现数据分类；因此，在这种情况下我们提出假设：hSEP(x)是一个经过原点的大圆圈；进而通过系统化的方法结合之前学习的线性分类技术框架；我们可以将h(x)的形式转化为sign(wT * z)，其中w为权重向量；具体而言我们定义了新的基向量z = [1, x₁², x₂²]；这样做的核心意义在于：通过将输入空间映射到新的高维特征空间（Feature Transform）；使得复杂的非线性问题得以被简化为线性问题；值得注意的是这种方法虽然在理论上能够解决二次可分的问题；但在实际应用中可能会遇到维度灾难等问题

![](http://jason-images.qiniudn.com/@/ML/foundation/no