作者 | 劉媛媛

來源丨數(shù)據(jù)實(shí)戰(zhàn)派

圖 1：1950 年至 2022 年間 118 個(gè)里程碑機(jī)器學(xué)習(xí)系統(tǒng)的趨勢。我們區(qū)分了三個(gè)時(shí)代。注意大約 2010 年的斜率變化，與深度學(xué)習(xí)的出現(xiàn)相匹配；2015年底出現(xiàn)了新的大規(guī)模趨勢。
預(yù)測機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展是很困難，其與行業(yè)、政策和社會(huì)中的參與者有著重要的相關(guān)性。
十年后計(jì)算機(jī)視覺會(huì)好多少？機(jī)器能否寫出比我們更好的小說嗎？我們將能夠自動(dòng)化哪些工作？
這些問題回答起來是很困難，因?yàn)樗鼈內(nèi)Q于許多因素。然而，隨著時(shí)間的推移，所有這些因素的影響中有一個(gè)因素——算力，有著驚人地規(guī)律。
已有數(shù)據(jù)顯示，2010年之前，訓(xùn)練算力的增長率符合摩爾定律（Moore’s law），大約每20個(gè)月翻一番。
從2010年之后深度學(xué)習(xí)開始來臨，訓(xùn)練算力的增長率大幅度提升，大約每6個(gè)月翻一番。2015年末，隨著許多公司開始開發(fā)大規(guī)模的機(jī)器學(xué)習(xí)模型，對(duì)訓(xùn)練算力的要求提高了10到100倍，于是，一種新的趨勢又出現(xiàn)了。
基于上述發(fā)現(xiàn)，一支聯(lián)合團(tuán)隊(duì)在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中，將機(jī)器學(xué)習(xí)的算力趨勢分為三個(gè)時(shí)代：前深度學(xué)習(xí)時(shí)代，深度學(xué)習(xí)時(shí)代和大規(guī)模時(shí)代，很好地梳理出當(dāng)前的算力演進(jìn)脈絡(luò)。

圖丨里程碑式大模型信息一覽（https://docs.google.com/spreadsheets/d/1AAIebjNsnJj_uKALHbXNfn3_YsT6sHXtCU0q7OIPuc4/edit#gid=0）：
更具體的，這項(xiàng)研究共有以下三點(diǎn)貢獻(xiàn)：
1）策劃了一個(gè)包含100多個(gè)具有里程碑意義的機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)集，并對(duì)訓(xùn)練它們所需的算力進(jìn)行了注釋。
2）初步將算力趨勢劃分為三個(gè)不同的時(shí)代：深度學(xué)習(xí)前時(shí)代、深度學(xué)習(xí)時(shí)代和大規(guī)模時(shí)代。這項(xiàng)研究提供了每個(gè)時(shí)代的倍增時(shí)間的估計(jì)。
3）在一系列附錄中展示了為驗(yàn)證這項(xiàng)研究的結(jié)論所開展的一些替代實(shí)驗(yàn)，討論了數(shù)據(jù)的替代解釋以及與以前工作的差異。
另外，這項(xiàng)研究所采用的數(shù)據(jù)集、數(shù)據(jù)和交互式可視化均是公開的。
一、深度學(xué)習(xí)的出現(xiàn)
這項(xiàng)研究根據(jù)三個(gè)不同的時(shí)代和三個(gè)不同的趨勢來解釋這項(xiàng)研究整理的數(shù)據(jù)。
簡而言之，在深度學(xué)習(xí)開始之前，有一個(gè)增長緩慢的時(shí)代。2010 年前后，這一趨勢加速發(fā)展，此后一直沒有放緩。另外，在 2015 年到 2016 年出現(xiàn)了大規(guī)模模型的新趨勢，以相似的速度增長，但超過了之前的一到兩個(gè)數(shù)量級(jí)（orders of magnitude，OOM）。
表1 主要結(jié)果總結(jié)。2010 年隨著深度學(xué)習(xí)的普及，趨勢加速，2015 年末出現(xiàn)了大規(guī)模模型的新趨勢。
下面，這項(xiàng)研究將首先討論 2010年至2012年左右向深度學(xué)習(xí)的過渡時(shí)期。然后討論大約在 2015年至2016 年出現(xiàn)的大規(guī)模模型時(shí)代。
深度學(xué)習(xí)出現(xiàn)前后存在兩種截然不同的趨勢機(jī)制。在此之前，訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)所需的計(jì)算量每 17 到 29 個(gè)月翻一番。隨后，整體趨勢加快，每 4 到 9 個(gè)月翻一番。
前深度學(xué)習(xí)時(shí)代的趨勢大致符合摩爾定律，根據(jù)該定律，晶體管密度大約每兩年翻一番——通常簡化為計(jì)算性能每兩年翻一番。
目前尚不清楚深度學(xué)習(xí)時(shí)代從何時(shí)開始——從前深度學(xué)習(xí)時(shí)代到深度學(xué)習(xí)時(shí)代的過渡沒有明顯的不連續(xù)性。此外，這項(xiàng)研究將深度學(xué)習(xí)時(shí)代的開始時(shí)間分別定在 2010 年和 2012 年，結(jié)果幾乎沒有變化，如表2所示。
圖2. 1952年至2022年間100多個(gè)里程碑機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練算力趨勢。請注意 2010 年左右趨勢的斜率變化。
表2 1952 年至 2022 年 ML 模型的對(duì)數(shù)線性回歸結(jié)果
二、大模型的出現(xiàn)
2015-2016 年左右出現(xiàn)了大規(guī)模模型的新趨勢。
這種新趨勢始于 2015 年底的 AlphaGo，并一直持續(xù)到今天。這些大規(guī)模模型是由大公司訓(xùn)練的，其較大的訓(xùn)練預(yù)算想必能夠打破之前的趨勢。

另外，常規(guī)比例模型的趨勢仍不受干擾。這種趨勢在 2016 年前后是連續(xù)的，斜率相同，每5到6個(gè)月翻一番，見表3大規(guī)模模型中計(jì)算量增加的趨勢明顯變慢，每9到10個(gè)月翻一番。由于這項(xiàng)研究對(duì)這些模型的相關(guān)數(shù)據(jù)有限，所以明顯的放緩的趨勢也可能是噪聲的結(jié)果。這項(xiàng)研究發(fā)現(xiàn)的結(jié)果與2018年Amodei & Hernandez等人的發(fā)現(xiàn)形成鮮明的對(duì)比，后者發(fā)現(xiàn) 2012 年至 2018 年之間的倍增期更快，為3.4個(gè)月，而2021年Lyzhov發(fā)現(xiàn)2018年至2020年之間的倍增期更長，超過2年。
由于他們的分析數(shù)據(jù)樣本有限且假設(shè)單一趨勢，因此與這項(xiàng)研究發(fā)現(xiàn)的結(jié)果存在巨大差異。而這項(xiàng)研究分別研究大規(guī)模模型和常規(guī)規(guī)模模型，且大規(guī)模模型的趨勢是最近幾年才出現(xiàn)，以前的分析無法區(qū)分這兩種不同的趨勢。
圖2. 2010~2022年100多個(gè)里程碑式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練計(jì)算趨勢。注意 2016 年左右可能出現(xiàn)的大規(guī)模模型新趨勢。其余模型的趨勢在 2016 年前后保持不變。


表3. 2010~2022年數(shù)據(jù)的對(duì)數(shù)線性回歸結(jié)果。2015 年之前的常規(guī)尺度模型的趨勢在之后繼續(xù)不間斷。
三、結(jié)論與方向
這項(xiàng)研究通過管理100 多個(gè)里程碑式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練計(jì)算數(shù)據(jù)集來研究算力趨勢，并使用這些數(shù)據(jù)分析趨勢如何隨著時(shí)間的推移而增長。
團(tuán)隊(duì)表示，希望這項(xiàng)研究的工作能夠幫助其他人更好地了解到機(jī)器學(xué)習(xí)系統(tǒng)的最新進(jìn)展是由規(guī)模增加推動(dòng)的，從而進(jìn)一步改進(jìn)對(duì)高級(jí)機(jī)器學(xué)習(xí)系統(tǒng)開發(fā)的預(yù)測。
此外，訓(xùn)練算力的增長趨勢，凸顯了硬件基礎(chǔ)設(shè)施和工程師的戰(zhàn)略重要性。
機(jī)器學(xué)習(xí)的前沿研究已成為訪問大量算力預(yù)算或算力集群以及利用它們的專業(yè)知識(shí)的代名詞。
這項(xiàng)研究未涉及的一個(gè)方面是用于訓(xùn)練機(jī)器學(xué)習(xí)模型的另一個(gè)關(guān)鍵可量化因素——數(shù)據(jù)，未來可以嘗試研究數(shù)據(jù)集大小及其與算力趨勢的關(guān)系。
論文鏈接：https://arxiv.org/pdf/2202.05924.pdf