参数规模相差660倍，结果却是小模型胜出？！
LeCun这次真的给Scaling Law施加了巨大压力。
一个仅有1.09亿参数的微型模型，在跨模态表征对齐任务上，竟然超越了720亿参数的Qwen2.5。
更令人震惊的是，论文还揭示了：更换模型的训练方法后，达到相同效果所需的训练样本量，直接骤降至原来的1/42。
这让那些天天比拼参数和数据规模的大模型厂商，多少显得有些尴尬。
alphaXiv在论文解读中，直接点出了最核心的结论：模型如何训练，可能比单纯扩大模型规模更为关键。
这样一来，LeCun多年来坚持的观点，终于有了新的理论和实验支持：LLM虽然强大，但它们主要是在积累知识；模型若想真正理解世界，单纯靠堆砌参数，路径可能走偏了。
连Google DeepMind前研究员Shruti Mishra看完都感叹：Yann LeCun是正确的，只是这个行业一直不愿承认。
LeCun是否正确暂且不论，我好奇的是：一个参数如此庞大的模型，怎么就输了呢？
1.09亿小模型挑战720亿大模型
660倍的参数差距都能实现逆袭，难道大模型真的白堆了？
先别急着为小模型庆祝。
仔细阅读论文后会发现，这场比较实际上聚焦于一项非常特殊的能力——跨模态表征对齐。
举个例子，假设眼前有一只橘猫，视觉模型看到的是猫咪照片，语言模型读到的是“一只橘猫趴在沙发上”。虽然输入完全不同（一个处理像素，一个处理文字），但它们描述的却是同一只猫。
因此，问题来了：如果两个模型真正理解了这只猫，它们内部形成的表征，是否也应该存在共通之处？
这正是论文探讨的核心——柏拉图表征假说。2024年，MIT等机构的研究人员提出了这一假说：不同模态的AI模型，即使各自独立学习，随着规模和训练数据的增加，最终也可能形成越来越相似的世界表征。
此前的研究也确实观察到了这种趋势。
照此看来，想让AI更好地理解同一个世界，继续堆参数、堆数据似乎就足够了。
但问题是，难道必须把模型堆得足够大，才能实现这一点吗？
LeCun和合作者Randall Balestriero这次偏偏发现：还真不一定，换个训练方法，可能事半功倍。
换个训练方法，可能事半功倍
具体怎么换？关键在于训练时到底让模型学什么。
这次LeCun团队用到的，正是他这些年一直力推的JEPA。
先别被名字吓到，理解这篇论文，只需要搞清楚两种训练方式的区别：Good Views和Bad Views。
名字听起来很随意，但效果却相差甚远。
为方便理解，这里直接让AI生成了一张对比图：简单来说，Good Views让模型抓住不同观察背后的共同信息，Bad Views则可能让模型在光照、措辞等细节上花费过多精力。
而两种训练方式的区别，也成了这篇论文数学证明的突破口。
研究团队证明，在特定理想化条件下，如果不同模态的JEPA都使用Good Views训练，那么即使各自独立学习，最终形成的表征也可以通过一个旋转变换对应起来。
这里的“旋转”，指的是高维空间中的坐标变换。
说得更直白些：视觉模型和语言模型，可能只是用了两套不同的坐标系来描述同一个世界，只要找到坐标系之间的关系，就能把两边的表征对齐。
至此，原本主要依赖实验观察的“柏拉图表征假说”，在特定JEPA框架下有了数学证明。
但LeCun团队还没完，他们甚至把当前大语言模型最主流的“下一个token预测”，也归入了Bad-View JEPA。
好好好，以前还只是打打嘴炮，这回来真的了。
论文另一位作者Randall Balestriero，也在论文发布后表示：我们证明了JEPA的柏拉图表征假说：只要使用Good Views，不同模态的编码器即使独立训练，学到的表征也能通过一次旋转对齐。而下一Token预测使用的是Bad Views。我们1.09亿参数的文本JEPA，跨模态对齐表现超过了720亿参数的Qwen2.5，达到相同效果所需的训练样本也降到了原来的1/42。
他们的理由在于，“预测下一个token”本质上就是让模型根据前面的文字，猜后面会出现什么。这样训练当然能学到大量知识，但也难免花费不少精力琢磨措辞、语法、上下文这些语言本身的规律，但这些未必能帮模型更好地理解文字背后的世界。
Good Views就直接多了，让模型学习同一个场景的不同观察，从中抓住共同的信息。
一对比，一个得从海量文字里慢慢摸索，一个直接奔着共同的场景信息去。
如果比的是跨模态对齐，差距可能就这样拉开了。
模型学得不够好，很可能是因为我们一开始就没教对
至于具体能拉开多大差距，他们先在Flickr30k数据集上验证思路，随后把实验扩大到约9.4亿张网页图片对应的文本数据。
每张图片都有不同的文字描述，包括网页Alt-text，以及视觉语言模型生成的描述。这样，同一个场景就有了多种文字表达，正好可以构造Good Views。
结果相当扎眼。
在相同的109M参数编码器和训练语料条件下：Good-View JEPA只用了2160万个训练样本，就达到了“预测下一个token”模型使用9亿个样本才达到的跨模态对齐水平。
足足差了42倍之多。
而且即便按Token数量计算，Good Views训练所需的Token也降到了原来的1/14。
接着，研究团队又把这个109M文本JEPA，拿去和一众大语言模型正面比较。
在WIT-1024基准上，与视觉模型DINOv2的表征对齐分数如下：好家伙，参数量相差约660倍，小模型反而拿到了更高的分数。
而且，研究团队还尝试把独立训练的视觉模型和文本模型，通过一个简单的线性映射连接起来。结果在COCO图像描述任务上，取得了0.838的CIDEr分数。
进一步尝试不使用图文配对数据来拟合映射时，模型还在ImageNet-100相关零样本分类实验中取得64%的Top-5准确率。
这意味着，不同模态的模型即使各自训练，只要学到的表征足够接近，后续也有机会通过相对简单的方法建立联系。
当然，先别急着宣布小模型全面胜利。109M超过72B，比的是特定的跨模态表征对齐指标，并不意味着它在推理、代码等通用任务上也更强。另外，论文的数学证明依赖有限世界、可逆观测等理想化条件，现实实验还没有完全满足全部假设。
但至少，LeCun这次拿出了一套值得重视的新思路。如果训练方式选得对，小模型也可能学到比大模型更高效的跨模态表征。
过去大家忙着研究，模型还要做多大，才能更好地理解世界。
如今LeCun反过来问：有没有可能，模型学得不够好，是因为我们一开始就没教对？
论文地址：https://arxiv.org/abs/2610.39302
参考链接：[1]https://x.com/i/trending/2116989446364987413 [2]https://x.com/ylecun/status/2116977821088096276
本文来自微信公众号“量子位”，作者：一水，36氪经授权发布。
近期热门
