4-激活函数：赋予模型生命

声明

本文以哔哩哔哩付费课程《小白也能听懂的人工智能原理》为基础展开讨论。仅限于学习记录和分享用途……（此处保留原文符号） 请确保不得用于他用。如有侵权行为，请及时联系删除

目录

一、知识引入

（一）背景

（二）激活函数

（三）引入激活函数后

（四）梯度下降

1、复合函数求导--链式法则

2、引入激活函数后的代价函数e对w的导数

3、激活函数的意义

二、编程实验

（一）将sigmoid激活函数带入预测模型中

（二）复合函数的链式求导法则求出代价函数在w和b上的导数

（三）梯度下降

（四）完整代码

---

一、知识引入

（一）背景

人类在思考时，通常不太可能生成精确的数量预测或最佳逼近 ，而是更多地进行分类活动 。例如 ，面对一个馒头 ，人们更倾向于将其划分为"能吃饱"与"吃不饱"两类 ，而非在大脑中建立具体的数量关系曲线

对于小蓝也是，更希望把豆豆分成**“有毒”和“无毒”** 这两类。

纵坐标已经不再反映毒性的程度，而是用来表示某物质是否具有毒性——当纵坐标数值为1时表示该物质具有毒性（Toxic），数值为0时表示该物质不具有毒性（Non-toxic）。每个样本的结果都是明确的二元结果——全部要么是有毒的（Toxic），要么是没有毒的（Non-toxic）。因此这是一个典型的二分类问题（Binar