马库斯听到林枫提到“改进网络结构”时,愣了一下。
这话听起来似乎有些轻描淡写,在2014年,深度学习的结构问题是个热门话题,而大家都还在围绕如何改进已有的架构,比如nn(卷积神经网络)和nn(循环神经网络)展开討论。
大家都在想著要改进网络结构。
可要说“改进网络结构”,得具体到什么程度才能真正解决梯度消失问题呢?
他迟疑了一会儿,问道:“改进网络结构?你是说尝试新的层设计,还是在激活函数上进一步优化?”
林枫微微一笑,显得胸有成竹。
毕竟林枫关於人工智慧的知识量截止到2024,而现在才刚刚2014。
在2024年,解决梯度消失的核心技术已经有了突破性的进展,比如“残差网络”(esnet)的提出,在当时被认为是改写深度学习领域的一项技术。
但在2014年,这个概念还远未被提出。
林枫意识到自己可能正站在改变这一切的关键时刻。
“激活函数的优化確实重要,”林枫淡淡说道,“但我说的改进,更多是指在网络层次的设计上。你有没有想过,深层网络的问题不只是梯度传递不下去,而是信息本身也无法有效传播?信號在一层层中传递时,逐渐丟失了原本的重要信息,等到最后几层时,网络几乎是在『盲目学习』。”
“这个道理我懂,”马库斯点了点头,“但我们已经尝试了很多调整,比如增加跳层连接、在特定层使用更强的正则化,甚至尝试了不同的初始化方法,效果依旧有限。”
林枫暗自一笑,跳层连接?
看样子马库斯已经有了些残差
本章未完,请点击下一页继续阅读! 第1页 / 共4页