梯度下降既不是正向传播,也不是反向传播,三者是深度学习模型训练中不同环节,反向传播负责求梯度,梯度下降负责用梯度更新参数,正向传播是基础前提。

简单梳理核心关系:

  1. 正向传播:把输入数据喂给模型,逐层计算得到预测结果,再算出损失函数(预测值和真实值的误差),这是求误差的过程。
  2. 反向传播:从损失函数出发,沿着模型网络反向计算,求出每个参数对损失的梯度(即参数变化会让损失如何变化),这是找调整方向的过程。
  3. 梯度下降:利用反向传播算出的梯度,按照“梯度下降方向”,以一定步长(学习率)更新模型的权重、偏置等参数,这是实际调整参数的过程。

一句话总结:正向传误差,反向求梯度,梯度下降更参数,三者配合完成模型的一次训练迭代。

需要我用一个超简单的神经网络(比如单神经元),把这三个步骤的计算逻辑串起来讲一遍吗?

转载请注明出处