西瓜,就会产生一种通感。
\n
而他要做的就是,如何将这个所谓的‘意识流’用数学的方法表现出来,他能想到的最为接近的理论就是ot理论。
\n
至于为什么一定要将信息融合其实也很好理解,打个比方,你要向一个来自外星系、完全不懂地球文化的外星人解释什么是“苹果”,
\n
你不能只给它看一张苹果的图片,或者只给它一个苹果吃。
\n
因为这些信息对它来说都是割裂的、无法理解的,所以我们需要将每种信息变成一种感觉,比如苹果可能是甜的,酸的,可能是绿的,红的......
\n
而人在学习一个陌生的事物时候也是差不多的流程,比如神农尝百草,先了解这个草药不同的特性,然后再给它下一个定义。
\n
同理,要让ai理解世界,这个步骤也是需要的,你得先让ai理解,苹果的一些基本特性,这也是很多大模型都在做的一个步骤。
\n
接下来的一步便是信息融合,也就是告诉ai一个更加高级的统一语义空间,告诉它,虽然信息的模态不同,但他们描述的都是同一种东西,这就是融合的步骤。
\n
这也是现代多模态大模型能同时处理不同模态信息的原理。
\n
只不过在将不同模态信息纳入这个统一语义空间的语义空间时,现在的方法仍然有很多的不足。
\n
这个问题也是真正实现agi路上的一块绊脚石。\n', '\n')