第76章 实则不然

>\n

不过你能否解释一下关于你在多模态融合中提到的schr?dinger桥框架，在高维嵌入中，你如何处理sb路径优化的非凸性问题以保证收敛？”

\n

旁听学生中有车伟强的学生，当他们看到老师脸上的笑容时，心中浮现出三个字——科幻片！

\n

入学一两年以来，他们从来没见过车伟强在他们面前笑过。

\n

果然，人和人之间的差距有时候比人和狗都大。

\n

“没问题。”周昀微微点头，拿笔开始在白板写下公式：“schr?dinger桥（sb）通过最小化相对熵求解从视觉模态μ到语言模态ν的最优随机路径：

\n

sb(μ，ν)=inf_{p:p_0=μ，p_1=ν}kl(p||q)，其中q是布朗运动参考路径，

\n

为了融入时间序列对齐，我将动态时间规整（dtw）引入sb框架，构建时间依赖的传输计划。

\n

......

\n

推导上，sb的密度满足fokker-planck方程：?p_t/?t=-(1/2)Δp_t-div(p_tv_t)，其中v_t是最优速度场......”

\n

车伟强听后，点了点头：“所以，你是用dtw给sb加了个时间对齐的先验，相当于在路径上加了个正则项，强制x和y同步？就像是用动态规划把时间轴拉直。”

\n

周昀笑着摇了摇头：“实则不然，刚刚我在ppt里也有讲到，我的做法是将dtw成本嵌入girsanov变换，优化联合分布p_t和γ，使得路径既满足时间对齐又保留sb的扩散特性，

\n

数学上，软dtw的梯度?dtw/?γ通过sinkhorn-like迭代计算：

\n

&n

本章未完，请点击下一页继续阅读！ 第3页 / 共5页