EEPW首頁(yè) >>
主題列表 >>
llm
llm 文章 進(jìn)入llm技術(shù)社區(qū)
Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能
- 作者：Arm 基礎(chǔ)設(shè)施事業(yè)部軟件工程師 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用，許多企業(yè)已經(jīng)開始將大語(yǔ)言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多框架和庫(kù)得以發(fā)展。其中，PyTorch 作為熱門的深度學(xué)習(xí)框架尤為突出，許多企業(yè)均會(huì)選擇其作為開發(fā) AI 應(yīng)用的庫(kù)。通過(guò)部署 Arm Kleidi 技術(shù) ，Arm 正在努力優(yōu)化 PyTorch，以加速在基于 Arm 架構(gòu)的處理器上運(yùn)行 LLM 的性能
- 關(guān)鍵字： Arm KleidiAI PyTorch LLM
研華本地大型語(yǔ)言模型（LLM）邊緣AI服務(wù)器AIR-520
- 工業(yè)物聯(lián)網(wǎng)領(lǐng)域的全球供應(yīng)商研華科技近日公布，其自主研發(fā)的“AIR-520本地大型語(yǔ)言模型（LLM）邊緣AI服務(wù)器”榮獲“第33屆臺(tái)灣精品獎(jiǎng)”銀獎(jiǎng)！今年，研華有六款產(chǎn)品獲得了中國(guó)臺(tái)灣精品獎(jiǎng)，其中兩款獲得了享有盛譽(yù)的銀獎(jiǎng)。這一出色的成績(jī)凸顯了業(yè)界對(duì)研華智能系統(tǒng)和嵌入式平臺(tái)在工業(yè)物聯(lián)網(wǎng)領(lǐng)域的認(rèn)可。研華表示將繼續(xù)整合人工智能驅(qū)動(dòng)的行業(yè)解決方案和領(lǐng)域?qū)I(yè)知識(shí)，加速數(shù)字化轉(zhuǎn)型，為客戶推動(dòng)工業(yè)智能的發(fā)展。研華嵌入式物聯(lián)網(wǎng)集團(tuán)總經(jīng)理張家豪強(qiáng)調(diào)，研華作為一家跨越邊緣計(jì)算、物聯(lián)網(wǎng)系統(tǒng)軟件和垂直行業(yè)解決方案的多元化工業(yè)物聯(lián)網(wǎng)企
- 關(guān)鍵字： 研華 本地大型語(yǔ)言模型 LLM 邊緣AI服務(wù)器
Arm計(jì)算平臺(tái)加持，全新Llama 3.2 LLM實(shí)現(xiàn)AI 推理的全面加速和擴(kuò)展
- 新聞重點(diǎn)：●? ?在Arm CPU上運(yùn)行Meta最新Llama 3.2版本，其云端到邊緣側(cè)的性能均得到顯著提升，這為未來(lái)AI工作負(fù)載提供了強(qiáng)大支持●? ?Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個(gè)性化的端側(cè)推薦以及日常任務(wù)自動(dòng)化等●? ?Arm十年來(lái)始終積極投資AI領(lǐng)域，并廣泛開展開源合作，為?1B?至?90B?的?LLM?實(shí)現(xiàn)在?Arm?計(jì)算平臺(tái)上無(wú)縫運(yùn)行人
- 關(guān)鍵字： Arm Llama 3.2 LLM AI 推理 Meta
傳感器融合技術(shù)如何助力自主移動(dòng)機(jī)器人導(dǎo)航再升級(jí)？
- 自主移動(dòng)機(jī)器人(AMR)可幫助制造商提高生產(chǎn)效率、增強(qiáng)安全性并節(jié)省大量成本，因而在各行各業(yè)得到廣泛應(yīng)用。2022年全球AMR市場(chǎng)規(guī)模為86.5億美元，預(yù)計(jì)2022年至2028年間的復(fù)合年增長(zhǎng)率(CAGR)將達(dá)到18.3%。進(jìn)入工業(yè)5.0時(shí)代，人類將與人工智能(AI)機(jī)器人協(xié)同工作，機(jī)器人輔助而非取代人類。愿景固然美好，但要實(shí)現(xiàn)這一目標(biāo)，AMR必須克服重重挑戰(zhàn)，集成各種傳感器以及新興的傳感器融合技術(shù)將為此提供助益。AMR采用過(guò)程中所面臨的挑戰(zhàn)AMR普及的一大難題是其在多種不同應(yīng)用和環(huán)境中的適應(yīng)性。AMR已廣
- 關(guān)鍵字： 自主移動(dòng)機(jī)器人 傳感器 AMR LLM
用工具彌補(bǔ)AI短板，讓AI答案更精準(zhǔn)
- ChatGPT和GPT-4等大型語(yǔ)言模型 (LLM) 已成為提高工作效率和更好地理解各種主題不可或缺的工具。從教育到軟件開發(fā)，再到內(nèi)容寫作，LLM在眾多領(lǐng)域嶄露頭角，它們?cè)谔釤捄蜕晒┤祟愂褂玫男畔⒎矫嬗兄跎衿娴哪芰?。不過(guò)，盡管LLM的能力令人印象深刻，但它們?cè)谔峁?zhǔn)確答案或執(zhí)行需要精確知識(shí)的特定任務(wù)時(shí)，卻常常比較吃力。例如，對(duì)于復(fù)雜的數(shù)學(xué)問(wèn)題或者晦澀難懂的題目，往往會(huì)給出錯(cuò)誤或不夠充分的答案。出現(xiàn)這些局限性的主要原因是，LLM通常是使用過(guò)時(shí)的數(shù)據(jù)進(jìn)行訓(xùn)練，以預(yù)測(cè)句子中下一個(gè)在統(tǒng)計(jì)
- 關(guān)鍵字： 語(yǔ)言模型 LLM AI
Nvidia 征服了最新的 AI 測(cè)試
- 多年來(lái)，英偉達(dá)在許多機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試中占據(jù)主導(dǎo)地位，現(xiàn)在它又多了兩個(gè)檔次。MLPerf，有時(shí)被稱為“機(jī)器學(xué)習(xí)的奧林匹克”的人工智能基準(zhǔn)測(cè)試套件，已經(jīng)發(fā)布了一套新的訓(xùn)練測(cè)試，以幫助在競(jìng)爭(zhēng)計(jì)算機(jī)系統(tǒng)之間進(jìn)行更多更好的同類比較。MLPerf 的一項(xiàng)新測(cè)試涉及對(duì)大型語(yǔ)言模型的微調(diào)，該過(guò)程采用現(xiàn)有的訓(xùn)練模型，并用專業(yè)知識(shí)對(duì)其進(jìn)行更多訓(xùn)練，使其適合特定目的。另一個(gè)是圖神經(jīng)網(wǎng)絡(luò)，一種機(jī)器學(xué)習(xí)，一些文獻(xiàn)數(shù)據(jù)庫(kù)背后的一種機(jī)器學(xué)習(xí)，金融系統(tǒng)中的欺詐檢測(cè)，以及社交網(wǎng)絡(luò)。即使使用谷歌和英特爾的人工智能加速器的計(jì)算機(jī)增加和參與，由
- 關(guān)鍵字： GPU 神經(jīng)網(wǎng)絡(luò) LLM MLPerf 基準(zhǔn)測(cè)試 英偉達(dá)
中國(guó)電信發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型 Tele-FLM-1T
- IT之家 6 月 19 日消息，中國(guó)電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型 Tele-FLM-1T，該模型與百億級(jí)的 52B 版本，千億級(jí)的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。TeleAI 和智源研究院基于模型生長(zhǎng)和損失預(yù)測(cè)等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺(tái) A800 服務(wù)器，用 4 個(gè)月完成 3 個(gè)模型總計(jì) 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試
- 關(guān)鍵字： LLM AI 大語(yǔ)言模型
熟悉LLM的重要機(jī)制
- 1 前言在前一期里，介紹過(guò)大語(yǔ)言模型(LLM)幕后核心的注意力(Attention)機(jī)制。本期就來(lái)繼續(xù)擴(kuò)大，介紹大名鼎鼎的轉(zhuǎn)換器(Transformer)模型。其中，要特別闡述：為什么當(dāng)今主流LLM都采用<僅譯碼器>(Decoder-Only Transformer)模型。在 2017 年， 首先在「Attention is All You Need」這篇論文中提出了經(jīng)典的Transformer架構(gòu)，它內(nèi)含編碼器(Encoder)和譯碼器(Decoder)兩部分。后來(lái)，自從GPT-2之后，整個(gè)
- 關(guān)鍵字： 202406 LLM
微軟亞研院新作：讓大模型一口氣調(diào)用數(shù)百萬(wàn)個(gè) API
- 近年來(lái)，人工智能發(fā)展迅速，尤其是像 ChatGPT 這樣的基礎(chǔ)大模型，在對(duì)話、上下文理解和代碼生成等方面表現(xiàn)出色，能夠?yàn)槎喾N任務(wù)提供解決方案。但在特定領(lǐng)域任務(wù)上，由于專業(yè)數(shù)據(jù)的缺乏和可能的計(jì)算錯(cuò)誤，它們的表現(xiàn)并不理想。同時(shí)，雖然已有一些專門針對(duì)特定任務(wù)的 AI 模型和系統(tǒng)表現(xiàn)良好，但它們往往不易與基礎(chǔ)大模型集成。為了解決這些重要問(wèn)題，TaskMatrix.AI 破繭而出、應(yīng)運(yùn)而生，這是由微軟（Microsoft）設(shè)計(jì)發(fā)布的新型 AI 生態(tài)系統(tǒng)。其核心技術(shù)近期在《科學(xué)》合作期刊 Inte
- 關(guān)鍵字： AI LLM
AI神奇魅力的源點(diǎn)：相似度
- 1 前言在本專欄去年的文章《從隱空間認(rèn)識(shí)CLIP 多模態(tài)模型》里，已經(jīng)介紹過(guò)了：CLIP 的核心設(shè)計(jì)概念是，把各文句和圖像映射到隱空間里的一個(gè)點(diǎn)( 以向量表示)。其針對(duì)每一個(gè)文句和圖像都會(huì)提取其特征，并映射到這個(gè)隱空間里的某一點(diǎn)。然后經(jīng)由矩陣計(jì)算出向量夾角的余弦(Cosine) 值，來(lái)估計(jì)它們之間的相似度(Similarity)。此外，在Transformer 里扮演核心角色的點(diǎn)積注意力(Dot-Product attention) 機(jī)制，其先透過(guò)點(diǎn)積運(yùn)算，從Q與K矩陣計(jì)算出的其相似度(Similarit
- 關(guān)鍵字： 202403 LLM 相似度 CLIP Transformer
語(yǔ)言大模型的進(jìn)化軌跡
- ChatGPT 的發(fā)布是語(yǔ)言大模型（LLM）發(fā)展史的轉(zhuǎn)折點(diǎn)，它讓人們意識(shí)到 LLM 的潛力，并引發(fā)了 “AI 競(jìng)賽”，世界上主要人工智能實(shí)驗(yàn)室和初創(chuàng)公司都參與其中。在這之后，基于 LLM 的聊天機(jī)器人層出不窮。1語(yǔ)言模型簡(jiǎn)單來(lái)說(shuō)，語(yǔ)言模型能夠以某種方式生成文本。它的應(yīng)用十分廣泛，例如，可以用語(yǔ)言模型進(jìn)行情感分析、標(biāo)記有害內(nèi)容、回答問(wèn)題、概述文檔等等。但理論上，語(yǔ)言模型的潛力遠(yuǎn)超以上常見任務(wù)。想象你有一個(gè)完備的語(yǔ)言模型，可生成任意類型的文本，并且人們還無(wú)法辨別這些內(nèi)容是否由計(jì)算機(jī)生成，那么我們就可以使其完成
- 關(guān)鍵字： 人工智能 LLM 大語(yǔ)言模型
| 共11條 1/1 1 |
llm介紹
您好，目前還沒有人創(chuàng)建詞條llm!
歡迎您創(chuàng)建該詞條，闡述對(duì)llm的理解，并與今后在此搜索llm的朋友們分享。 創(chuàng)建詞條
歡迎您創(chuàng)建該詞條，闡述對(duì)llm的理解，并與今后在此搜索llm的朋友們分享。 創(chuàng)建詞條
llm專欄文章
關(guān)于我們 -
廣告服務(wù) -
企業(yè)會(huì)員服務(wù) -
網(wǎng)站地圖 -
聯(lián)系我們 -
征稿 -
友情鏈接 -
手機(jī)EEPW
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產(chǎn)品世界》雜志社 版權(quán)所有 北京東曉國(guó)際技術(shù)信息咨詢有限公司
京ICP備12027778號(hào)-2 北京市公安局備案：1101082052 京公網(wǎng)安備11010802012473
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產(chǎn)品世界》雜志社 版權(quán)所有 北京東曉國(guó)際技術(shù)信息咨詢有限公司
京ICP備12027778號(hào)-2 北京市公安局備案：1101082052 京公網(wǎng)安備11010802012473