在线看毛片网站电影-亚洲国产欧美日韩精品一区二区三区,国产欧美乱夫不卡无乱码,国产精品欧美久久久天天影视,精品一区二区三区视频在线观看,亚洲国产精品人成乱码天天看,日韩久久久一区,91精品国产91免费

<menu id="6qfwx"><li id="6qfwx"></li></menu>
    1. <menu id="6qfwx"><dl id="6qfwx"></dl></menu>

      <label id="6qfwx"><ol id="6qfwx"></ol></label><menu id="6qfwx"></menu><object id="6qfwx"><strike id="6qfwx"><noscript id="6qfwx"></noscript></strike></object>
        1. <center id="6qfwx"><dl id="6qfwx"></dl></center>

            博客專欄

            EEPW首頁 > 博客 > 萬字長文解讀:從Transformer到ChatGPT,通用人工智能曙光初現(3)

            萬字長文解讀:從Transformer到ChatGPT,通用人工智能曙光初現(3)

            發(fā)布人:AI科技大本營 時間:2023-04-18 來源:工程師 發(fā)布文章
            圖片AGI初現曙光

            人類對智能化的追求可謂孜孜不倦,自遠古時期對智能化的想象,比如三國演義中諸葛亮的木牛流馬,到每一次人工智能蓬勃發(fā)展時期,都會對通用人工智能進行想象和期待。但直至去年年底ChatGPT出現之前,所有的人工智能產品都局限于某一特定領域。比如:

            • 用于實體抽取的系統(tǒng),無法用于對話。
            • 用于問答的系統(tǒng)可以在SQuAD2.0獲得高分,但在沒有進行微調等重新訓練模型的情況下,在命名實體識別或翻譯的評測中就表現得很差勁。
            • AlphaZero在圍棋上打遍天下無敵手,但沒法用來做其他事情,比如人臉識別或者事件分析等。
            • AlphaFold2能夠解決蛋白質折疊這種專業(yè)大學教授都難以搞定的超級難的問題,但面對幼兒園小朋友也能很好地解決的“12+23”等算術問題則顯得無能為力。
            • 有一些試圖以通用智能助手形式提供的人工智能產品則經常被戲稱為“人工智障”。

            當我們細數過去種種人工智能產品的優(yōu)勢和不足的時候,就容易看出 ChatGPT 所展現出來的“超能力”。圖18是ChatGPT超能力的一個實例展示,不僅能夠流暢地進行對話,還能夠在這個過程中完成多項自然語言處理任務,包括基于提示的情感分析、編寫代碼、翻譯、報告撰寫和摘要等。更進一步的,論文《ChatGPT: The End of Online Exam Integrity?》認為,ChatGPT能夠展現批判性思維能力,并以最少的輸入生成高度逼真的文本,潛在威脅了在線考試的誠信。其本質是:ChatGPT展現出了超強的能力,這個能力在前面提過的ChatGP能夠通過沃頓商學院的工商管理碩士課程也展現過。這種“超能力”恰如人類的大腦一樣,能在許多領域進行推理,并以接近或超越人類的水平完成多項認知任務。這正是人們所說的通用人工智能(Artificial General Intelligence,AGI)。圖片圖18 ChatGPT多才多藝的超能力實例支撐起ChatGPT 超能力的,正是自然語言處理技術奮進五載的大綜合。從技術角度,就是在無監(jiān)督大規(guī)模預訓練語言模型的基礎上,使用標注語料進行有監(jiān)督的訓練。在此基礎之上,通過訓練一個獎勵預測模型,以及使用近端策略優(yōu)化來訓練強化學習策略。并在面向用戶的應用中使用了人類反饋強化學習技術來實現對話理解和文本生成。圖19展示了ChatGPT所使用的方法,可以看出,ChatGPT 涵蓋了機器學習的三大范式——有監(jiān)督學習、無監(jiān)督學習和強化學習。這也許和人類大腦的行為類似:

            • 無監(jiān)督學習——嬰兒期人類大腦,遺傳和3歲以下認知世界的模式;
            • 有監(jiān)督學習——從幼兒園開始不斷學習各類技能和知識;
            • 強化學習——從現實環(huán)境的反饋中學習。

              圖片

            圖19 訓練ChatGPT的過程示意圖[14]正是這些技術的總和所展現出的強大能力,ChatGPT 為通用人工智能帶來了曙光。許多業(yè)內大佬也紛紛為此站臺,比如:

            • 微軟聯合創(chuàng)始人比爾·蓋茨在2023年1月11日的Reddit AMA(Ask Me Anything)的問答帖中對一些熱門科技概念發(fā)表了看法,他表示自己不太看好Web3和元宇宙,但認為人工智能是“革命性”的,對OpenAI的ChatGPT印象深刻[15]。微軟也準備再向OpenAI投資100億美元,并表示旗下全部產品都接入ChatGPT以提供智能服務。
            • 此前力推元宇宙的Meta的態(tài)度也有所改變,扎克伯格在2022年度報告投資者電話會議上表示“我們的目標是成為生成式人工智能的領導者(Our Goal is to be Leader in Generative AI)”[16]。面對投資者對元宇宙是否被拋棄的疑問,扎克伯格的回答是“今天專注于人工智能,長期則是元宇宙(AI today and over the longer term the metaverse)”(想想經濟學家凱恩斯那句名言“長期來看,我們都死了”吧)。
            • Google創(chuàng)始人回歸并全力支持類似 ChatGPT產品的開發(fā),同時向Anthropic投資3億美元。Anthropic由OpenAI的多名資深研究人員創(chuàng)立,其產品與OpenAI的類似,如Claude(ChatGPT)和(GPT-3)。
            • 許多學者認為,通用人工智能到來的時間會加速,也許,2035年就是一個通用人工智能的“奇點”時刻。

            也許有人認為夸大其詞或危言聳聽。畢竟,ChatGPT也僅僅展現了語言方面的能力,對其他諸如視覺、語音等完全不涉及。而即使在語言方面,ChatGPT表現弱智的地方也很多,圖20就是一個例子(這個問題流傳最廣的回答是:賈母),深度學習的代表性人物Yann LeCun也激烈批評大語言模型的問題“人們嚴厲批評大語言模型是因為它的胡說八道,ChatGPT 做了(與語言大模型)同樣的事(People crucified it because it could generate nonsense.ChatGPT does the same thing.)”。事實上,這個表現有點像幼兒園的小朋友的“童言無忌”,而這不也正是“智能”的表現么?而解決這個問題有現成的人工智能方法——知識圖譜[6]等符號人工智能方法和基于知識的人工智能方法。這些方法在這幾年也發(fā)展迅速。一旦ChatGPT擁有一個知識圖譜來支撐“常識”,其下限將極大地提升[17],“童言無忌”變得成熟,那么語言領域的通用人工智能可謂來臨。圖片圖20 ChatGPT關于“賈寶玉娶老婆”的例子進一步的,跳出自然語言處理,從更廣泛的人工智能視角來看,這幾年的進展也非常大。比如通過文本提示生成視頻的擴散模型(Diffusion Model,DM),在圖像生成上提升了視覺保真度,同樣引發(fā)了視覺領域的爆火出圈;語音合成方面,VALL-E模型支持通過語音提示,合成符合輸入語音音色和情緒的逼真聲音。特別地,這些不同領域的人工智能,包括視覺、圖像處理、語音識別、語音合成、知識圖譜、時間序列分析等等,也全部都在采用變換器網絡來實現[18]。這使得ChatGPT或類似系統(tǒng)加入語音、視覺等變得容易,進而構建出跨模態(tài)的,多才多藝的通用人工智能。圖片

            結語

            可以想象,未來五年到十年,融合語言、視覺和語音等多模態(tài)的超大模型將極大地增強推理和生成的能力,同時通過超大規(guī)模知識圖譜和知識計算引擎融入人類的先驗知識,極大提升人工智能推理決策的準確性。這樣的人工智能系統(tǒng)既能夠像人一樣適應現實世界的不同模態(tài)的絕大多數任務,完成任務的水平甚至超越絕大多數的普通人,又可以在各種富有想象力和創(chuàng)造性的任務上有效地輔助人類。這樣的系統(tǒng)正是人們想象和期待了數千年的智能系統(tǒng),而這也會被稱為真正的通用人工智能。進一步,隨著人形機器人、模擬人類的外皮膚合成技術等等各類技術的發(fā)展,這些技術互相融合,科學幻想中的超人工智能的來臨也將成為現實。而在通用人工智能如燦爛陽光灑滿每一個角落時,驀然回顧,會發(fā)現AGI的第一道曙光是2022年底的ChatGPT。正所謂“虎越雄關,NLP奮發(fā)五載;兔臨春境,AGI初現曙光?!?/span>

            參考文獻

            [1] ChatGPT將代替搜索引擎?谷歌內部發(fā)紅色警報. 澎湃新聞. https://www.thepaper.cn/newsDetail_forward_21282873[2] How ChatGPT Suddenly Became Google’s Code Red, Prompting Return Of Page And Brin. Forbes.   https://www.forbes.com/sites/davidphelan/2023/01/23/how-chatgpt-suddenly-became-googles-code-red-prompting-return-of-page-and-brin/. 2023.[3] With Bing and ChatGPT, Google is about to face competition in search for the first time in 20 years. Insider. https://www.businessinsider.com/bing-chatgpt-google-faces-first-real-competition-in-20-years-2023-1[4] ChatGPT sets record for fastest-growing user base - analyst note。Reuters. https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/. 2023.[5] Joseph Weizenbaum. ELIZA--A Computer Program for the Study of Natural Language Communication Between Man and Machine.[J]// Communications of the ACM. Vol9. P36–45.[6] 王文廣. 知識圖譜:認知智能理論與實戰(zhàn)[M] //電子工業(yè)出版社, 2022[7] Ashish Vaswani, Noam Shazeer, Niki Parmar et al. Attention is all you need.[C] //In advances in neural information processing systems. 2017. P5998-6008[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.[C] // In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019. P4171–4186.[9] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever. Improving language understanding with unsupervised learning. //OpenAI Technical Report. 2018.[10] Yu Sun, Shuohuan Wang, Shikun Feng et al. ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2107.02137. 2021.[11] Tom Brown, Benjamin Mann, Nick Ryder et al. Language Models are Few-Shot Learners.[C] // In Advances in Neural Information Processing Systems 33 (NeurIPS 2020). 2020. P1877—1901[12] ChatGPT passes MBA exam given by a Wharton professor. NBC News. https://www.nbcnews.com/tech/tech-news/chatgpt-passes-mba-exam-wharton-professor-rcna67036. 2023.[13] Tiffany Kung, Morgan Cheatham, ChatGPT et al. Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models. doi:10.1101/2022.12.19.22283643. 2022.[14] ChatGPT: Optimizing Language Models for Dialogue. OpenAI. https://openai.com/blog/chatgpt/. 2022[15] 比爾·蓋茨看好 AI,而非 Web3 和元宇宙. 新浪網. http://vr.sina.com.cn/news/hot/2023-01-13/doc-imxzzfmr4911664.shtml. 2023[16] Meta Platforms (NASDAQ: META) CEO Mark Zuckerberg: “Our Goal is to be Leader in Generative AI”. Wall Street Reporter. https://www.wallstreetreporter.com/2023/02/02/meta-platforms-nasdaq-meta-q4-2022-earnings-call/. 2023.[17] Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT. StephenWolfram. https://writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-bring-computational-knowledge-superpowers-to-chatgpt/. 2023.[18] 學習ChatGPT和擴散模型Diffusion的基礎架構Transformer,看完這些論文就夠了.走向未來.  https://mp.weixin.qq.com/s/3bOFfODR7rpnyzrpocHlfQ. 2023.


            *博客內容為網友個人發(fā)布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



            關鍵詞: AI

            相關推薦

            技術專區(qū)

            關閉