神经网络传递函数设计与卷积神经网络风格迁移研究

1、在搭建神经网络的时候，如何选择合适的转移函数（

通常情况下，在神经网络领域中存在多种激励函数可供选择：包括阶跃函数、准线性函数、双曲正切函数以及Sigmoid函数等；其中Sigmoid函数即为所谓的S型函数（sigmoid function）。从我的经验来看，在实际应用中选择激励函数时应避免频繁更换（一般选择这类非饱和型激活单元作为初始设置），因为这种类型的激活单元具有良好的特性；如果在实际应用中发现所设计的神经网络性能不佳，则应考虑从算法设计或数据准备两个方面进行优化调整：首先是BP神经网络算法的主要实现途径——自适应学习速率动量梯度下降反向传播算法（traingdx）与Levenberg-Marquardt反向传播算法（trainlm）等；其中后者常被认为是更为高效的选择；其次是检查是否存在异常数据，并剔除明显异常的数据点以改善预测或识别效果

谷歌人工智能写作项目：小发猫