重启后我成了罗马人
首页

第15章 林!你知道吗?你正在改变世界

马库斯听到林枫提到“改进网络结构”时,愣了一下。

这话听起来似乎有些轻描淡写,在2014年,深度学习的结构问题是个热门话题,而大家都还在围绕如何改进已有的架构,比如nn(卷积神经网络)和nn(循环神经网络)展开討论。

大家都在想著要改进网络结构。

可要说“改进网络结构”,得具体到什么程度才能真正解决梯度消失问题呢?

他迟疑了一会儿,问道:“改进网络结构?你是说尝试新的层设计,还是在激活函数上进一步优化?”

林枫微微一笑,显得胸有成竹。

毕竟林枫关於人工智慧的知识量截止到2024,而现在才刚刚2014。

在2024年,解决梯度消失的核心技术已经有了突破性的进展,比如“残差网络”(esnet)的提出,在当时被认为是改写深度学习领域的一项技术。

但在2014年,这个概念还远未被提出。

林枫意识到自己可能正站在改变这一切的关键时刻。

“激活函数的优化確实重要,”林枫淡淡说道,“但我说的改进,更多是指在网络层次的设计上。你有没有想过,深层网络的问题不只是梯度传递不下去,而是信息本身也无法有效传播?信號在一层层中传递时,逐渐丟失了原本的重要信息,等到最后几层时,网络几乎是在『盲目学习』。”

“这个道理我懂,”马库斯点了点头,“但我们已经尝试了很多调整,比如增加跳层连接、在特定层使用更强的正则化,甚至尝试了不同的初始化方法,效果依旧有限。”

林枫暗自一笑,跳层连接?

看样子马库斯已经有了些残差

本章未完,请点击下一页继续阅读! 第1页 / 共4页

相关小说

娇蕊(父女) 玄幻 /
娇蕊(父女)
扬羽
娇蕊(父女)最新完整章节由网友提供。《娇蕊(父女)》是由扬羽创作的高辣小说小说书...
223507字03-29
顺其自然 玄幻 /
顺其自然
木犀
有点痴女属性的社畜可能算闷骚的男喘上司#关于上司是男喘这件事
279371字12-20
鸣龙 玄幻 /
鸣龙
关关公子
鸣龙是关关公子的经典玄幻小说类作品,鸣龙主要讲述了:事情是这样的,我当初身陷绝...
1563405字10-12
带着空间养兽夫,恶雌成团宠了 玄幻 /
带着空间养兽夫,恶雌成团宠了
吉祥瑞雪
带着空间养兽夫,恶雌成团宠了是吉祥瑞雪的经典玄幻小说类作品,带着空间养兽夫,恶雌...
1097843字10-10
龙藏 玄幻 /
龙藏
烟雨江南
卫渊本无大志,但在时代洪流中不得不走上征战四方、开疆辟土之路,直至关山踏尽,未曾...
3941182字09-28
元始法则 玄幻 /
元始法则
飞天鱼
《元始法则》星空中的道城,修行最初的萌芽之地祖洲,浩瀚宇宙水之起源神仓古泽,虚暗...
2605688字10-12