美媒:拜登制裁反促中企不靠先進(jìn)芯片推進(jìn)AI
美國(guó)芯片禁令迫使中國(guó)的科技業(yè)者研究變通辦法,在拿不到最新型美國(guó)芯片下繼續(xù)研發(fā)AI人工智能。使用軟件補(bǔ)強(qiáng)較低階芯片或?qū)⒍喾N低階芯片并聯(lián)的研究在中國(guó)越來(lái)越多。
本文引用地址:http://www.biyoush.com/article/202305/446378.htm「華爾街日?qǐng)?bào)」檢視論文和訪談相關(guān)企業(yè)人員發(fā)現(xiàn),包括華為、百度及阿里巴巴集團(tuán)在內(nèi)的中企,正研究如何靠用較低階芯片或少用高階芯片下,仍能研發(fā)最先進(jìn)人工智能的技術(shù),也在研究如何整并不同類型芯片以免依賴任何單一硬件。
研究人員與分析師認(rèn)為,靠這類變通辦法想追上美國(guó)AI領(lǐng)先群難度不低,然而一些研究顯示這種變通措施并非白工,若進(jìn)展順利也許真能讓中國(guó)科技企業(yè)既挺過(guò)美方制裁,又增加對(duì)日后美方更多設(shè)限的免疫。
隨商業(yè)化ChatGPT這類AI的競(jìng)賽加溫,全球各地的業(yè)者都需要功能更強(qiáng)大的芯片并盡量將功能發(fā)揮到極致,好降低AI研發(fā)的成本。
AI研究人員與產(chǎn)業(yè)分析師指出,對(duì)中國(guó)企業(yè)而言相關(guān)課題更為關(guān)鍵,因?yàn)槊婪街撇米屗麄兡貌坏街T如英偉達(dá)(Nvidia)等公司所制的最先進(jìn)芯片,且在研發(fā)比肩ChatGPT這類AI時(shí)又快速消耗手上的美國(guó)芯片庫(kù)存。
繼美國(guó)商業(yè)部去年10月向中國(guó)供應(yīng)芯片實(shí)施全面限制后,拜登政府已表明還會(huì)祭出進(jìn)一步制裁。
中國(guó)業(yè)者已無(wú)法再取得業(yè)界研發(fā)AI時(shí)最愛用的英偉達(dá)A100芯片,以及今年3月發(fā)表的下一代、有更強(qiáng)運(yùn)算能力的H100;為符合美國(guó)政府政策,英偉達(dá)提供中國(guó)的是降級(jí)版A800、H800,這兩種都削弱芯片本身與其他芯片的聯(lián)通能力。
雖然A800、H800對(duì)研發(fā)規(guī)模較小AI諸如TikTok短影音app的推薦演算是不錯(cuò)的替代選項(xiàng),卻扼殺規(guī)模較大型AI的研發(fā)。
瑞士銀行集團(tuán)(UBS AG)分析部門估計(jì),必須用上5000到1萬(wàn)片A100芯片,才能鍛煉ChatGPT這種規(guī)模與等級(jí)的AI。據(jù)一個(gè)與中國(guó)政府關(guān)系密切的半導(dǎo)體產(chǎn)業(yè)協(xié)會(huì)近日于一場(chǎng)業(yè)界閉門會(huì)議公布的調(diào)查,中國(guó)只有區(qū)區(qū)4萬(wàn)到5萬(wàn)片A100。
經(jīng)營(yíng)AI基礎(chǔ)設(shè)備公司的新加坡國(guó)立大學(xué)教授尤洋表示,許多中國(guó)企業(yè)現(xiàn)嘗試合并3或4片較低階芯片(含A800與H800),模擬1片最高階輝達(dá)芯片的效能。騰訊今年4月就公布一套新的運(yùn)算集群:用一套H800并聯(lián)芯片組,進(jìn)行大型AI模型訓(xùn)練。
尤洋說(shuō)變通方式代價(jià)不斐,因?yàn)槿裘榔笥?xùn)練大型語(yǔ)言運(yùn)算模式需用1000片H100,中國(guó)企業(yè)就需3000片以上的H800達(dá)成類似效果。
尤洋指出,為此部分中企加速開發(fā)跨型號(hào)芯片訓(xùn)練大型AI模型的技術(shù)。有論文顯示阿里巴巴、百度、華為都在研究整并英偉達(dá)的A100、上一代的V100與P100,以及華為的Ascends系列。
與此同時(shí),中企也在尋求透過(guò)各種軟件技術(shù)來(lái)幫助訓(xùn)練大型AI模型的運(yùn)算強(qiáng)度,這種方法美國(guó)企業(yè)也有在做,然而中國(guó)業(yè)者在整合多種軟件技術(shù)方面更積極。
中國(guó)研究人員已取得進(jìn)展。今年3月一篇論文顯示,華為研究人員展現(xiàn)如何用這類技術(shù)訓(xùn)練自有的新一代大型語(yǔ)言模型,且只用自家Ascends芯片。盡管仍有一些瑕疵,華為的PanGu-Σ大模型在一些華語(yǔ)任務(wù)里已達(dá)成最高端性能表現(xiàn),包括閱讀理解和文法問(wèn)題。
半導(dǎo)體研究與顧問(wèn)公司SemiAnalysis首席分析師巴特爾(Dylan Patel)表示,在拿不到最新輝達(dá)H100芯片的情況下,中國(guó)研究人員的難關(guān)只會(huì)更高。H100含有額外的性能提升功能,尤其有助訓(xùn)練類似ChatGPT的模型。
但去年百度公司與深圳鵬城實(shí)驗(yàn)室一份論文顯示,研究人員正以無(wú)需H100額外提升功能的方式訓(xùn)練大型語(yǔ)言模型。巴特爾說(shuō)盡管研究還在初階,但看來(lái)有效。
巴特爾說(shuō):「若應(yīng)證確有效果,他們就能有效躲過(guò)制裁?!?/p>
評(píng)論