什么？Scaling Law 最早是百度 2017 年提的？！

Meta 议论员翻出经典论文：

大渊博东说念主可能不知说念，Scaling law 原始议论来自 2017 年的百度，而非三年后（2020 年）的 OpenAI。

此议论由吴恩达主握，来自百度硅谷东说念主工智能施行室 ( SVAIL ) 系统团队。

他们探讨了深度学习中锻练集大小、筹谋限制和模子精度之间的相干，而且通过大限制实证议论揭示了深度学习泛化罪戾和模子大小的缩放法例，还在图像和音频上进行了测试。

只不外他们使用的是 LSTM，而不是 Transformer；也莫得将他们的发现定名为「Law」。

再回头看，其中一位作家 Gregory Diamos 给我方畴昔在百度的先容照旧LLM Scaling Law Researcher。

又有一网友发现，OpenAI 论文还援用了 2019 年这位作家 Gregory Diamos 等东说念主的走访。但却不知说念他们 2017 年就有了这样一项职责。

网友们纷纷暗示这篇论文终点值得一读，而且王人备被低估。

来迅速望望这篇论文。

深度学习 Scaling 是可展望的

在深度学习范围，跟着模子架构的束缚探索、锻练数据集的束缚增大以及筹谋才略的束缚普及，模子的性能也在束缚提高。

然则，关于锻练集大小、筹谋限制和模子精度之间的具体相干，一直枯竭长远的贯串。

本文通过大限制的实证议论，对多个机器学习范围（如机器翻译、说话建模、图像分类和语音识别）进行了测试，发现了一些法例：

泛化罪戾（模子在新数据上的发扬罪戾）与锻练集大小呈现幂律相干，即跟着锻练集的增大，泛化罪戾会以一定的幂次下跌。

模子大小与与数据大小也存在 Scaling（缩放）相干，频频模子大小的增长速率比数据大小的增长速率慢。

具体来说，聚合以往职责，团队将防御力围聚在准确预计学习弧线和模子大小的缩放趋势上。

按照一般测量格式，是遴荐启航点进的 SOTA 模子，并在锻练集的更大子集（碎屑）上锻练这些模子的 "超参数缩减 "版块，以不雅察模子的准确性怎么跟着锻练集的大小而增长。

因此针对这四个范围，机器翻译、说话建模、图像分类和语音识别，找到了他们在大型数据集上披知道 SOTA 泛化罪戾的模子架构。

这里的 "大型数据集 "是指限制不错削弱 2-3 个数目级，但仍足以进行有价值的模子架构议论的锻练集。他们为某些 ML 范围遴荐了一种以上的模子架构，以相比它们的推广活动。

机器翻译

团队防御到，跟着锻练集限制的增大，优化变得愈加困难，而且模子会出现容量不及的情况，因此训戒罪戾会偏离幂律趋势。

词说话模子

这一着力标明，最好拟合模子随锻练分片大小呈次线性增长。

字符级说话模子

为了测试字符级说话建模，他们锻练了深度为 10 的轮回高速公路辘集（RHN），着力发现该辘集在十亿单词数据集上能达到启航点进的（SOTA）准确率。

图像分类。

图像分类相似呈现出幂律学习弧线和模子大小的缩放相干。而且还标明，在终点小的锻练集上，准确率会在接近就地意想的水平上趋于矜重。

语音识别。

团队锻练了一系列跨度较大的模子尺寸，是以针对每个锻练数据大小得出的模子尺寸缩放着力，其道理不像在说话模子（LMs）或图像分类中那么昭彰。

跟着数据量的增多，大渊博模子会阅历幂律泛化矫正，直至数据量接近其灵验容量。在这种情况下，参数为 170 万的模子的准确率在简短 170 小时的音频数据时初始趋于矜重，而参数为 600 万的模子在简短 860 小时的音频数据时趋于矜重（也等于说，简短是前者的 5 倍，这与模子尺寸的相反情况雷同）。更大的模子（举例，参数为 8700 万的模子）在更大的数据集限制下，其泛化罪戾也更接近最好拟合趋势。

终末关于这一发现，他们暗示，这些比例相干对深度学习的议论、实施和系统都有清苦影响。它们不错匡助模子调试、设定准确度主义和数据集增长决议，还不错引导筹谋系统联想，并强调握续筹谋推广的清苦性。

博客致谢中还有 Ilya 的名字

这次议论主如果由畴昔吴恩达主握下，百度硅谷东说念主工智能施行室 ( SVAIL ) 系统团队。

那时的一群合著者们仍是各自去到各个机构施行室、大厂接续从事大模子研讨的议论。

在畴昔博客致谢中，还出现了 Ilya 的名字，感谢他们参与了这一商榷。

两年后，也等于 2019 年，其中一位作家 Gregory Diamos 又指挥团队探讨了深度学习的筹谋挑战。

背面的 OpenAI 论文恰是援用了这篇论文的走访商榷了 Scaling Law。

值得一提的是，Anthropic CEODario Amodei在百度议论院吴恩达团队职责过，他对 Scaling Law 的第一印象亦然那时议论语音模子产生的。

Amodei 刚初始议论语音神经辘集时有一种"外行撞大运"的嗅觉，尝试把模子和数据限制同期扩大，发现模子性能跟着限制的增多而束缚普及。

领先，他认为这仅仅语音识别系统的特例。但到了 2017 年，看到 GPT-1 的着力后刚毅到这种表象在说话模子上相似适用。

畴昔（2015 年）他一作发表的论文 Deep Speech，合著者中这位 Sharan Narang 恰是两年后这篇论文的主要作家之一。如今后者先后去到了谷歌担任 PaLM 神色 TL 大模子淡雅东说念主，然后现时是 Meta 当议论员。

如今这一"冷常识"再次出现时大家的视线，让不少东说念主回溯并重温。

这当中还有东说念主进一步暗示：着实的 OG 论文使用了seq2seq LSTM，而且细目了参数筹谋弧线。

畴昔的一作恰是 Ilya Sutskever。

参考联贯：

[ 1 ] https://arxiv.org/abs/1512.02595   [ 2 ] https://arxiv.org/abs/1909.01736

[ 3 ] https://research.baidu.com/Blog/index-view?id=89

[ 4 ] https://www.linkedin.com/in/gregory-diamos-1a8b9083/   [ 5 ] https://www.linkedin.com/in/dario-amodei-3934934/

[ 6 ] https://x.com/jxmnop/status/1861473014673797411?s=46&t=iTysI4vQLQqCNJjSmBODPw

—  完  —

「MEET2025 智能改日大会」

火热报名中

定档 12 月 11 日！李开复博士、周志华涵养、智源议论院王仲远院长都来量子位MEET2025 智能改日大会探讨行业破局之说念了！

最新嘉宾声势在此，不雅众报名通说念已开启！迎接来到 MEET 智能改日大会，期待与您一说念意料智能科技新改日  

附近滑动检察最新嘉宾声势

点这里� � 怜惜我，难忘标星哦～

一键三连「点赞」、「共享」和「在看」

科技前沿进展日日相逢 ~