「巨型 AI 模型時代即將終結」，當這句話最新出自 OpenAI CEO Sam Altman 之口時，業(yè)界嘩然。

畢竟在過去一段時間中，因為 GPT-4 以及 ChatGPT 會話式 AI 的到來，引發(fā) AIGC、大模型的狂歡潮，眾人有目共睹。這也引得多家科技大廠、創(chuàng)業(yè)公司紛紛入局 AI 賽道，推出各種大模型應用與產品。

現(xiàn)如今，在上周 MIT 視頻發(fā)言中，Sam Altman 警告稱：誕生 ChatGPT 的研究策略已經結束。目前尚不清楚未來會在哪些方面出現(xiàn)進展。

這番言論的背后究竟意味著什么？

Sam Altman：我們正處于巨型模型時代的盡頭

近年來，OpenAI 通過采用現(xiàn)有的機器學習算法并將其擴大到以前無法想象的規(guī)模，在與語言相關的人工智能方面取得了一系列令人印象深刻的進展。

今年最新推出的 GPT-4 可以視為是 OpenAI 乃至全行業(yè)中最為先進的模型之一，據 Wired 報道，GPT-4 可能是使用數(shù)萬億個文本單詞和數(shù)千個強大的計算機芯片訓練而成，這一過程耗資超過 1 億美元。

在這一點上，微軟此前在官方博客上也曾分享過內幕：

微軟將上萬顆英偉達 A100 芯片連接到一起，并重新設計了服務架構，這使得 OpenAI 能夠訓練出越來越強大的 AI 模型，同時，也幫助自家解鎖了 Bing、Edge 等工具的 AI 功能。這個項目已經花費微軟數(shù)億美元。

不過，當下 Sam Altman 表示，AI 技術進一步的進展將不會來自于將模型做大。"我認為我們正處于巨型模型時代的盡頭，最終我們將以其他方式使它們變得更好。"

事實上，自從 OpenAI 在 11 月推出 ChatGPT 以來，微軟已經使用底層技術為其必應搜索引擎添加了一個聊天機器人，Google 也推出了一個名為 Bard 的大模型，以及百度推出了「文心一言」、阿里內測了「通義千問」等等。

與此同時，包括 Anthropic、AI21、Cohere 和 Character.AI 在內的眾多資金雄厚的初創(chuàng)公司，正在投入巨大的資源來構建越來越大的算法，希望努力追趕上 OpenAI 的技術。

Sam Altman 的最新聲明表明，GPT-4 可能是 OpenAI 將模型做大并向其提供更多數(shù)據的戰(zhàn)略中出現(xiàn)的最后一個重大進展。

在最新分享中，他也并沒有說什么樣的研究策略或技術可能取代它。不過，在此前 GPT-4 技術細節(jié)的論文中，OpenAI 研究團隊倒是說過，根據預估，擴大模型規(guī)模的回報將會越來越少。Sam Altman 也曾表示，OpenAI 能夠建造多少個數(shù)據中心以及建造這些中心的速度也有物理限制。

擴大模型的規(guī)模并不能永遠奏效

其實回看 GPT 系列模型，參數(shù)真的是一個比一個大：

• 2019 年發(fā)布的 GPT-2，有 15 億參數(shù)；

• 2020 年發(fā)布的 GPT-3，有高達 1750 億個參數(shù)；

• GPT-3.5 模型的參數(shù)量為 2000 億；

• 在考慮到競爭格局和大型模型的安全影響之際，OpenAI 宣布不再對外公開最新的 GPT-4 模型參數(shù)，不過，通過上文提及到的訓練 GPT-4 花費超過 1 億美元的金額，也不難猜測出其規(guī)模之龐大了。

不過，模型并非參數(shù)越大越好，也并非一味地關注模型參數(shù)就是一件好事。對于這樣的觀點，其實也有不少專家持以贊同的態(tài)度。

據 Wired 報道，曾在谷歌從事人工智能工作的 Cohere 公司聯(lián)合創(chuàng)始人 Nick Frosst 表示，Altman 的擴大規(guī)模并不能永遠奏效的觀點聽起來是對的。他也認為，Transformer（GPT-4 及其競爭對手的核心機器學習模型類型）的進展超出了擴展范圍。在 Nick Frosst 看來，「有很多方法可以讓 Transformer 變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)。新的人工智能模型設計或架構，以及基于人類反饋的進一步微調，是許多研究人員已經在探索的有希望的方向?！?/span>

其實，針對模型參數(shù)規(guī)模，此前百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在接受 CSDN 采訪時也說過，千億量級是一個門檻，然而一直討論大模型參數(shù)規(guī)模意義不大：

僅僅三年前，我們所說的大模型是參數(shù)億量級的大模型，今天當我們說大模型的時候，大家大多數(shù)理解參數(shù)是千億量級的大模型，這種進化和技術迭代的速度其實超過了像摩爾定律這樣大家熟悉的演化速度，這還是很神奇的。

百度通用大模型肯定是千億量級的。因為這是一個門檻，如果不過千億是不會出現(xiàn)智能涌現(xiàn)，這是過去實驗都證明過的。但是具體是多少參數(shù)，公布意義不大，過了千億之后，不是萬億量級參數(shù)一定比千億效果要好。GPT-4 出來之前，我看好多媒體猜測是萬億量級參數(shù)，十萬億量級，方向就錯了。大模型不是靠提升參數(shù)規(guī)模，是在其他方面進行提升，不用太糾結。

賈揚清早期在接受 CSDN 采訪時，也曾表示：

以 2012 年參加 ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽中大獲成功的卷積神經網絡 AlexNet 為例，該模型的總參數(shù)數(shù)量為 6000 萬。它的崛起讓不少 AI 從業(yè)人員產生一個比較簡單的想法，即模型越大越深或模型參數(shù)越多，效果就越好。

但是到了 2014 年，基于 Inception 模塊的深度神經網絡模型 GoogLeNet 在具備 600 萬模型參數(shù)基礎上也能達到同樣甚至更好的效果。因此，在超大模型領域，很多人為了追求推廣效果，營造出參數(shù)規(guī)模越大模擬效果越好的現(xiàn)象。隨著時間推移，當用戶對模型規(guī)模審美疲勞之后，會發(fā)現(xiàn)模型的結構以及模型的可解釋性等細節(jié)問題變得更加重要。

不過，這一現(xiàn)象也是科研領域技術迭代很典型的發(fā)展過程，即爆火的技術吸引無數(shù)人蜂擁而至，而當大家發(fā)現(xiàn)此方向過于片面之后又會重回原來的位置。

或也是深諳此理，Altman 在上周也回應稱，OpenAI 目前沒有，而且在一段時間內也不會有開發(fā) GPT-5 的計劃。最后，對于追求參數(shù)量的大模型即將接近尾聲，你怎么看？

參考鏈接：

https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/