4. 训练方法(输入层)
如果箭偏离目标,可能是:
? 弓箭手没瞄准好(类似于神经网络的输出层计算错误)
? 弓有缺陷(类似于隐藏层的权重设置不当)
? 箭头不够稳定(类似于特征提取不准确)
? 训练方法不对(类似于输入数据有误)
误差反向传播的核心问题就是要找出这些因素对最终误差的贡献,并逐步调整它们。
第三步:误差如何回溯?(反向传播计算梯度)
国王决定,不能只惩罚弓箭手,因为问题可能出现在更深层次的环节。他让信使从终点(箭靶)向前传递信息,逐步追查问题的来源。
信使的任务是:
1. 先从箭靶出发,检查弓箭手的瞄准情况。
? 如果射手的手抖了,误差可能主要来自瞄准(类似于反向传播计算损失对输出层的影响)。
2. 再检查弓是否有问题。
? 如果弓的张力不够,导致射偏,那就要调整弓的设计(类似于计算误差对隐藏层的影响)。
3. 最后检查箭的质量。
? 如果箭本身重量不均匀,可能是箭匠制作的问题(类似于输入权重需要调整)。
这个过程就是误差从输出层向输入层反向传播,每一层都接收来自下一层的反馈,计算自己对误差的贡献,并调整自身。