激励函数简介, TensorFlow最简单的三层神经网络及其matplotlib可视化, 包括常见的几种类型

激励函数：

有观点认为，将其译为“激活函数”（activation function）更为恰当，因为其核心功能在于对数据进行区分，并决定某一“神经元”是否被触发。例如，在判断眼前是否存在猫时，人们通常会从多个方面进行分析，如眼睛的形态。当观察到的眼睛特征与猫眼高度相似时，对应神经元的数值将显著升高；若相似度较低，则数值相对减少。在神经网络模型中，激励函数可视为判定神经元是否响应的关键标准。

部分数据具备线性分类的可能性，然而大量数据则无法通过线性方式加以区分，因此激励函数的形式也呈现出多样化的特点。

三层神经网：

以下展示了一种基础的三层神经网络架构，代码中已添加详细注释，包括输入层、隐藏层以及输出层。该结构中，输入层与输出层各包含一个神经元，而隐藏层则由十个神经元构成，并设定训练次数为1000次。其主要目标是实现对x_data与y_data数据之间的拟合过程。

 import tensorflow as tf

    
 import numpy as np
    
 import matplotlib.pyplot as plt
    
  
    
 def add_layer(inputs,in_size,out_size,activation_function=None): #activation_function=None线