9浏览
查看: 9|回复: 0

[已解决] 在深层神经网络中,梯度在反向传播过程中可能变得非...

[复制链接]
允许输入信号跳过若干层直接传递到后续层(如 输出 = F(x) + x)。即使深层网络中的 F(x) 学习到接近0的变换,梯度仍可通过恒等路径(x)无损反向传播。
通过门控单元(如LSTM的输入门、遗忘门、输出门)控制信息流动,保留长期依赖关系。

遗忘门:决定保留多少历史信息 → 缓解梯度消失。

输入门:控制新信息写入。               


高级模式
B Color Image Link Quote Code Smilies |上传

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail