挑戰(zhàn)DeepSeeK 「AI教母」打造AI模型訓(xùn)練成本不到50美元
DeepSeek強(qiáng)敵來(lái)了! 被譽(yù)為「AI教母」的知名華裔美籍科學(xué)家李飛飛領(lǐng)導(dǎo)的團(tuán)隊(duì),以低于50美元的云計(jì)算成本,成功訓(xùn)練出名為「s1」的人工智能推理模型。 此模型在數(shù)學(xué)和編碼能力測(cè)驗(yàn)中的表現(xiàn),據(jù)稱(chēng)媲美OpenAI o1和DeepSeek R1等尖端推理模型。
本文引用地址:http://www.biyoush.com/article/202502/466749.htm科創(chuàng)板日?qǐng)?bào)、新浪科技報(bào)道,李飛飛團(tuán)隊(duì)的s1模型并非從頭訓(xùn)練,而是建立在阿里巴巴的Qwen2.5 和 Google DeepMind的Gemini 2.0 Flash Thinking的基礎(chǔ)之上。 他們搜集了1000個(gè)精心挑選的問(wèn)題及其解答,并通過(guò)記錄 Gemini 2.0 Flash 的思考過(guò)程,建立訓(xùn)練資料集,利用這些資料,微調(diào)了Qwen2.5-32B-Instruct模型,創(chuàng)造出s1。
大陸某知名大模型公司CEO表示,李飛飛團(tuán)隊(duì)的成就實(shí)際上是利用從 Google 模型中擷取的 1000 個(gè)樣本來(lái)微調(diào)通義千問(wèn)模型。 這種微調(diào)的成本固然低廉,但其優(yōu)異表現(xiàn)仍有賴(lài)于既有模型的基礎(chǔ)。
上海交通大學(xué)人工智能學(xué)院副教授謝偉迪指出,s1以通義千問(wèn)模型為基礎(chǔ),因此即使使用有限的樣本資料,也能產(chǎn)生新的推理模型。 然而,如果更換其他基礎(chǔ)模型,新模型的效能并不會(huì)提升。 因此,真正在背后發(fā)揮效能的關(guān)鍵是Qwen模型,而非 s1。
阿里云證實(shí),李飛飛團(tuán)隊(duì)通過(guò)利用阿里開(kāi)源的Qwen2.5-32B-Instruct模型進(jìn)行監(jiān)督微調(diào),在16個(gè)英偉達(dá)H100 GPU上僅花費(fèi)26分鐘就訓(xùn)練出s1-32B模型,其數(shù)學(xué)和編碼能力與OpenAI o1和DeepSeek R1等尖端推理模型不相上下。
評(píng)論