梦晨 发自 凹非寺量子位 | 公众号 QbitAI好利来 丝袜

ViT中枢作家Lucas Beyer，长文分析了一篇革命Transformer架构的论文，引起推选围不雅。

他前不久从跳槽到OpenAI，此次是在飞机上阅读论文并写下了分析。

这篇论文被他简写为DiffTranformer，不外不是Sora底层架构的阿谁Diffusion Transformer，而是不久前来自微软的Differencial Transformer。

论文中先容，举座想路肖似差分放大电路或降噪耳机，用两个信号的差值来滤除共模噪声，惩处Transformer模子信噪比低的问题。

这篇论文发布时引起大量情切，但也濒临一些质疑，在弹幕版alphaXiv上作家与读者进行了好多询查。

Beyer首先也对这篇著作执保留格调，合计“难说念MHA中的两个端庄力头不行学习到这些吗？”。

但经由近期和同业的一些互动，合计不应该消弱下定论，再行看了一遍论文后，他更正了观点

我的领先印象被团队的实验澈底松弛了，他们的实验极端公蔼然严慎。

此外还有一个彩蛋：

大佬等闲会用坐飞机的本领来打4把Dota 2游戏快速风景。

当今写这个帖子也不行当论文评审责任写进简历，是纯纯的孝敬个东说念主本领了，以后也不会常写。

总之先给大佬点赞。

大佬解读热门论文

Beyer评价这篇论文的中枢创新极端simple和nice，不错用一句话详细。

将两个端庄力头配对，然后现实(softmax(Q1K1) - λ*softmax(Q2K2)) V，其中λ是一个可学习的标量。

他认为这项规划的动机极端充分：跟着凹凸文变长，（渺小的）对不相干token的端庄力之和可能跳跃对少数相干token的端庄力，从而团结它们。

这一洞见标明，跟着输入长度的加多，经典Transformer可能越来越难以捕捉到要害信息。DIFF Transformer试图惩处这一问题。

但他仍不细目对于考试充分的模子来说这是个多大的问题，但愿在DIFF Transformer论文中有一些对于attention离别/熵的图表，以实质讲解这个插图的合感性。

接下来，他指出了几个容易被冷落的细节：

与Figure1不同，DiffAttn实质上并莫得对差值再行归一化。那么它究竟怎样放大”相干”的分数呢？

Beyer建论说文中能提供更多实质考试的DIFF Transformer的分析图表。

λ的计较极端复杂，波及两个可学习的指数函数之差，加上一些基线λ_init，在早期的层是0.1，背面又是0.8。

Beyer认为λ不一定需如果赶巧，并建议提供更多对可学习λ参数的分析。

每个端庄力头的输出齐经由了层归一化并乘以(1-λ_init)，然后再concat并乘以WO，这里也需要更多图表来讲解。

接下来看论文中大量的实验。规划者基本上分叉知晓StableLM-3B-4E1T，称之为Diff-3B，当作基线模子进行相比。

可惜的是，基线模子只在其中3个数据集上讲解了着力，其中2个Diff-3B的进展齐极端好。

Beyer怀疑这个StableLM-3B是否真实是一个强基线。

在参数目和token数的缩放弧线上，DIFF Transformer乍一看很有远景。但仔细不雅察后，Beyer提倡了两点质疑：

缩放弧线彰着分为两组，在它们之间画一条线有点牵强。检讨附录可知，规划者为较大的两个模子镌汰了学习率。这是否意味着他们遭遇了不领略性问题？

每次实验只用了10B个token考试，这个数目极端小。Beyer和洽其中的计较资源死心，但仍然感到有点不安。

这些实验标明，在换取大小的情况下，DIFF Transformer性能会更好一些，何况考试本领换取。

相干词，它的的推理速率也会慢一些(慢5-10%)。

Beyer提倡最佳能看到以计较量或实质本领为横轴的缩放弧线。

在长文本评测和对输入样本规则的鲁棒性方面，DIFF Transformer进展出了彰着的上风。

杰出是在凹凸体裁习的鲁棒性实验中，DIFF Transformer在不同的样本成列规则下，性能方差远小于经典Transformer。

这标明它更扼制易被输入的隐微变化郁闷，而经典Transformer容易受到样本规则的影响，在最佳和最坏情况下进展出入很大。

总的来说，Beyer对这篇论文的观点有所改不雅：

规划者的实验极端全面和严慎，确凿展现了DIFF Transformer比单纯的”两个端庄力头相减”更多的后劲。

这项责任展现了一些有远景的火花。它在其他东说念主的考试任务中能否很好地复现、或带来匡助，还有待进一步不雅察。

Lucas Beyer是谁

12月初，Lucas Beyer与Xiaohua Zhai、Alexander Kolesnikov集体从谷歌被挖到OpenAI。

他们曾共同提倡Vision Transformer，创举了Transformer在CV限制诈欺的先河。

据他个东说念主官网中先容，他在比利时长大，曾想象制作电子游戏以及从事AI规划。

他在德国亚琛工业大学学习机械工程，并在那边获取了机器东说念主感知和计较机视觉博士学位，2018年加入谷歌。

除了此次长文分析DIFF Transformer以外，他还等闲对新规划发表一些短的批驳，比如最近火爆的DeepSeek v3，他也提倡我方的建议。

总之是一位极端值得情切的学者。

DIFF Transformer论文：https://arxiv.org/abs/2410.05258

参考联贯：[1]https://x.com/giffmana/status/1873869654252544079