链式模型神经网络前传计算
发布时间
阅读量:
阅读量
0.前言
该链式模型在前馈传播过程与全连接神经网络类似,在计算目标数据的概率分布时仅需隐层中的权重参数和偏置参数值。而在此类推理过程中,并不存在BatchNormalization、Dropout等操作;相反地,在加载最终训练完成后的模型文件(final.mdl)时对模型进行了优化配置。
SetBatchnormTestMode(true, &(am_nnet.GetNnet()));
SetDropoutTestMode(true, &(am_nnet.GetNnet()));
nnet3::CollapseModel(nnet3::CollapseModelConfig(), &(am_nnet.GetNnet()));
经过上述优化后,则可获得每一层对应的权重参数及其偏置值。相应的神经网络计算步骤则简化为执行矩阵乘法操作并随后应用Relu激活函数的过程。其中,在实现这一过程时,则采用了基于OpenBLAS库的cblas_sgemm函数来进行矩阵乘法运算,并将结果与常量矩阵C相加得到最终输出。
1. 简单的全连接神经网络
简单描述一下全连接神经网络,熟悉的可以跳过。

还没有任何评论哟~
