终形成一个能运行的模型文件。
\n
边缘设备周昀暂时就找了一台老的智能机,内存只有32g,将手机插上数据线。
\n
运行程序。
\n
一个进度条出现在屏幕下方。
\n
【预计时间:17h】
\n
“就知道。”
\n
只要涉及到大模型,实验的时间就不会短,不过十几个小时也算快了,前世周昀曾经一个实验跑了两周,主要就是当时的服务器实在太垃圾了。
\n
三天后,周五。
\n
经过几天的实验,周昀的agileedge算是初步能用,但是距离他预想的性能,还有一些差距。
\n
而且不同的大模型之间,压缩后的性能也存在较大的差距。
\n
他的想法是在模型压缩的同时,性能不变,但是现在看来,模型压缩,性能就一定会变差,这看上去似乎是一个无解的问题。
\n
周昀能保证,自己的agileedge框架是没有问题的,不然也不可能实现模型压缩,那么有问题只可能是模型本身。
\n
大模型本身特殊的架构,限制了其参数的数量。
\n
简单来说就是,无论如何压缩,其总是会存在一个下限,而周昀要做的就是突破这个下限。
\n
这就不得不对模型本身进行修改。
\n
“看来之前还是想简单了。”
\n
智能化修改大模型架构,又是一个不小的工程,就这个研究,都够发一篇a会了。
\n
&nb
本章未完,请点击下一页继续阅读! 第3页 / 共5页