兩年前，英特爾酷睿Ultra平臺問世促使PC行業(yè)迅速步入AI PC時代，同時也掀起了PC行業(yè)新一輪創(chuàng)新風潮。然而相較以往的硬件體驗與產(chǎn)品形態(tài)創(chuàng)新而言，立足于AI技術的創(chuàng)新主要來自于應用側。不同領域AI應用大量涌現(xiàn)，使得AI在創(chuàng)造力、高效性等方面展現(xiàn)出了無與倫比的優(yōu)勢。不過在過去一年多的時間里，AI PC行業(yè)雖然發(fā)展迅速，但始終缺乏一個真正的爆點。而年初DeepSeek國產(chǎn)大語言模型落地，則成為了AI PC爆發(fā)的契機。作為一個完全開源和免費的國產(chǎn)推理模型，DeepSeek是真正能夠讓每個人都實現(xiàn)低成本部署本地AI助手的大語言模型，尤其是使用英特爾酷睿Ultra平臺AI PC去做部署的話，不僅可以實現(xiàn)零門檻快速部署，同時借助英特爾酷睿Ultra平臺出色的AI算力加持，整體體驗更加出色。此外，月之暗面Kimi推出的160億參數(shù)大模型moonlight-16B-A3B-Instruct也是非常火的一款開源模型。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署所以今天我們就來看看如何使用英特爾酷睿Ultra平臺AI PC，來快速部署并使用DeepSeek-R1大語言模型和moonlight-16B-A3B-Instruct大語言模型，同時我們也可以看看整體的性能表現(xiàn)到底如何？·部署平臺硬件配置信息本次我們使用Ollama以及Flowy這兩款軟件對DeepSeek-R1進行了本地化部署。而moonlight則是通過Miniforge部署。這次使用的硬件平臺配置如下：CPU：英特爾酷睿Ultra 5 225HGPU：英特爾銳炫130T核顯內(nèi)存：32GB LPDDR5X硬盤：1TB PCIe 4.0固態(tài)硬盤系統(tǒng)：Windows 11 24H2（26100.2161）簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署可以看到，從硬件配置來看，使用酷睿Ultra平臺AI PC部署DeepSeek-R1的成本并不高，酷睿Ultra 5 225H處理器+銳炫130T核顯這樣的主流配置即可實現(xiàn)，并不需要一味上高端平臺，這對于AI PC向大眾用戶普及無疑有著深遠意義。接下來，我們看看如何在自己的AI PC上部署一個能夠在不聯(lián)網(wǎng)情況下也能使用的、更加安全、成本更低的“DeepSeek AI助手”，同時也看看銳炫130T核心在運行DeepSeek-R1大模型進行推理時會有怎樣的表現(xiàn)？·借助Ollama或Flowy輕松部署本地AI助手「預先準備」在開始部署DeepSeek-R1之前，大家需要先做兩個準備：其一，將英特爾銳炫GPU驅動升至當前最新版本。比如筆者在撰寫這篇文章前就將銳炫130T核顯的驅動更新到了6559版本。【點擊此處進入官網(wǎng)驅動下載頁面】簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署其二，下載Ollama或Flowy軟件。選擇用哪個軟件主要看自己的喜好和習慣。Ollama默認需要通過簡單的命令來運行和使用大模型，上手有一點點門檻，但下載、部署模型基本不受限制；而Flowy則直接是可視化軟件，安裝之后即插即用，只是目前所能部署的大語言模型種類有限。另外我們可以【直接在魔搭社區(qū)或Github下載】針對英特爾酷睿Ultra平臺優(yōu)化過的Ollama。Flowy軟件的下載地址可以【點擊此處進入】「Ollama的安裝與部署」做好準備之后，我們先看看如何用Ollama來將DeepSeek-R1部署到我們自己的AI PC上。第一步：將下載好的Ollama綠色安裝文件解壓縮，并拷貝到容量空間更大的硬盤里。之后如下圖所示點擊start-ollama.bat運行ollama本地服務器。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署成功運行后會彈出如下圖所示的命令行窗口。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署第二步：打開「Windows PowerShell」或「終端」或「命令提示符」窗口。直接通過Windows系統(tǒng)搜索即可，這三個習慣用哪個就用哪個。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署下面我們以命令提示符窗口為例：首先通過：「cd C:修改為你解壓后?件的位置ollama-ipex-llm-0.5.4-20250211」這條命令進入ollama文件夾。筆者直接放在C盤根目錄，所以直接輸入cd C:ollama-ipex-llm-0.5.4-20250211即可。之后通過：「ollama run deepseek-r1:7b」這條命令下載并部署deepseek模型。如果想要部署不同規(guī)模的DeepSeek-R1，只需要更改冒號后面的數(shù)字即可，比如14b、32b等等。完成上述步驟之后，ollama會自動開始下載并部署大模型，期間無需做任何操作。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署第三步：等待下載完成之后，彈出「Send a massage」之后，用戶就可以直接使用剛剛部署好的DeepSeek-R1大模型了。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署另外大家可以打開任務管理器，看看GPU的Compute是否已經(jīng)被占滿，占滿即證明成功在酷睿Ultra AI PC上完成了DeepSeek-R1的部署。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署此外，ollama并不是只支持命令式操作，用戶可以通過Edge或Chrome瀏覽器中的「Page Assist」擴展程序打造Web UI界面。也可以下載「Chatbox AI」部署客戶端。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署這里簡單說一下Chatbox的使用方法，下載安裝完成之后，在保持ollama本地服務器運行的狀態(tài)下，按照下面兩張圖紅框所示進行設置，之后就可以通過Chatbox來使用DeepSeek-R1了。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署判斷是否成功依然是打開任務管理器，查看GPU的Compute占用情況，下圖是筆者部署完成之后，使用DeepSeek-R1時GPU Compute被占滿，這種狀態(tài)就證明部署成功。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署另外我們也查看了14B模型的token生成情況，可以看到首個token生成速度僅為2031毫秒，也就是2秒多一點點，速度非?？?。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署「Flowy的安裝與部署」相比Ollama而言，通過Flowy部署DeepSeek-R1就相當簡單了。下載安裝Flowy之后，打開軟件找到本地模型，默認提供了七種常用大語言模型。目前DeepSeek-R1支持7B、8B、14B以及32B四種，直接下載部署即可使用。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署Flowy在運行DeepSeek-R1時同樣會借助英特爾銳炫GPU來進行推理，Compute也會被占滿。借助銳炫GPU出色的AI計算加速能力，雖然會比云端服務的生成速度慢一些，但是勝在斷網(wǎng)也能用，而且更加安全、更加私密。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署另外筆者對比了DeepSeek-R1:7B和14B的運行速度，下面兩幅Gif圖都是1倍速錄制，第一張圖為7B，生成速度更快，但是最終結果呈現(xiàn)的顆粒度不夠細膩；第二張圖為14B，生成速度慢一些，但是最終結果呈現(xiàn)的更加完整、更富有邏輯性。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署·本地部署moonlight-ipex-llm大模型moonlight-ipex-llm也是非常適合英特爾酷睿Ultra平臺使用的本地AI大模型，其后綴的ipex-llm就代表了它是支持英特爾ipex-llm框架的，而且整體部署方式比較簡單，無需科學上網(wǎng)。另外moonlight實際上就是之前非?；鸬脑轮得鍷imi推出的160億參數(shù)大模型，本地部署之后就相當于有了一個斷網(wǎng)也能用的Kimi AI助手。在部署之前我們要先準備三個文件：首先我們需要【點擊此處進入Github】，分別點擊下圖紅框里的convert.py和run_moonlight-16b-a3b-instruct.py兩個文件，并將代碼分別復制到兩個記事本中。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署之后保存代碼，并將兩個記事本的文件命名以及.txt文件擴展名分別改成convert.py和run_moonlight-16b-a3b-instruct.py，如下：簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署其次，下拉Github頁面或【直接點擊此處下載miniforge】，這是一款輕量化的Python環(huán)境與包管理工具：簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署這里可以根據(jù)自己的系統(tǒng)來選擇不同版本，這次我們使用Windows系統(tǒng)部署，所以直接下載最下面的Windows版即可。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署接下來先安裝Miniforge.exe，然后建議把之前下載好的convert.py和run_moonlight-16b-a3b-instruct.py拷貝到C盤根目錄，或者自定義位置也行，不過要記住兩個文件的路徑。做好準備工作之后，在開始菜單里的“推薦的項目”里找到Miniforge Prompt并打開。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署稍等一會兒顯示盤符路徑之后依次復制如下代碼來完成模型的下載以及轉換（每輸入完一段代碼都要敲回車）cd /conda create -n ipex-llm python=3.11 libuv【輸入第二條代碼之后稍等一會，然后輸入y，并等待環(huán)境安裝完成】簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署conda activate ipex-llm【輸入上面代碼之后，前面的base會變成ipex-llm】簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署之后依次輸入下面兩行代碼下載moonlight-16B-A3B-Instruct大語言模型：pip install modelscopemodelscope download --model moonshotai/Moonlight-16B-A3B-Instruct --local_dir ./Moonlight-16B-A3B-Instruct【如下圖所示，紅框標出的大模型文件一共有27個，而全部文件有45個，下載完成后Processing 45 items：后面的百分數(shù)會達到100%】簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署模型下載根據(jù)自身網(wǎng)速快慢會不同，耐心等待下載結束后，繼續(xù)依次輸入下方3條代碼：pip install --pre --upgrade ipex-llm[xpu_2.6] --extra-index-url https://download.pytorch.org/whl/xpu -i https://pypi.tuna.tsinghua.edu.cn/simplepip install tiktoken blobfile transformers==4.45 trl==0.11 accelerate==0.26.0 -i https://pypi.tuna.tsinghua.edu.cn/simplepip install --pre --upgrade ipex-llm此時就完成了moonlight-16B-A3B-Instruct大模型的下載與環(huán)境部署，之后我們需要確認大模型文件的位置，比如筆者是直接在C盤根目錄中的。接下來還記得我們之前保存的convert.py文件嗎？此時我們需要用記事本打開它，將下圖紅框所示位置的兩處「C:UsersLeDocuments」修改為你自己下載的大模型文件的位置，比如筆者是下載到了C盤根目錄，所以就修改為「C:Moonlight-16B-A3B-Instruct」和「C:Moonlight-16B-A3B-Instruct-converted」就好了，修改完成之后直接保存即可。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署之后運行下方代碼進行模型轉換，整個過程全自動，無需做任何操作。python convert.py稍等片刻再次彈出「（ipex-llm）c:>」，模型轉換工作就完成了。之后將「C:Moonlight-16B-A3B-Instruct」中的所有?件復制?「C:Moonlight-16B-A3B-Instruct-converted」內(nèi)，并在提?存在重復?件時跳過所有重復?件，一定要點擊跳過，不要覆蓋，大模型到此就完成了部署。接下來再依次輸入下面4條代碼運行模型，即可愉快地使用本地moonlight-16B-A3B-Instruct AI助手了。conda activate ipex-llmset SYCL_CACHE_PERSISTENT=1set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1python run_moonlight-16B-A3B-instruct.py之后如果想再次使用的話，只需要從conda activate ipex-llm這條指令開始即可?！局匾看送猓绻\行最后一條代碼后出現(xiàn)下方報錯提示：簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署那么可以在「C:Moonlight-16B-A3B-Instruct-converted」文件夾內(nèi)，找到modeling_deepseek.py文件，通過記事本打開之后，Ctrl+F呼出搜索欄，輸入max_cache找到下圖代碼，將get_seq_length()中的「seq」修改為「max」，之后保存，再輸入python run_moonlight-16B-A3B-instruct.py命令，即可成功運行大模型。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署與Ollama和Flowy不同的是，moonlight工作時更加依賴GPU共享顯存，而Compute負載非常低。從下圖可以看到，moonlight-16B-A3B-instruct進行推理時，GPU顯存占用率會明顯上升，另外內(nèi)存的占用率也不低。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署這里需要補充說明的一點是，在部署moonlight時，之前使用的Ultra 5 225H平臺已歸還廠商，所以我們找來了另外一臺Ultra 9 285H+銳炫140T核顯的平臺。雖然二者在傳統(tǒng)性能上差異不小，但單純的AI算力方面其實相差并不大。通過moonlight-16B-A3B-instruct大模型進行編程或問答，編程時的First token耗時僅為4.01毫秒，平均速度達到了39.64tokens/s，速度可以說是相當快了。而問答時的First token耗時為12.14毫秒，略高一些，但是平均速度也能達到32.83tokens/s，看來支持英特爾ipex-llm框架的模型跑到酷睿Ultra平臺上確實是速度相當快，滿足日常使用沒有任何效率上的不足。（下方GIF圖均為1倍速錄制）簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署·英特爾酷睿Ultra 200H平臺理論AI性能測試了解了如何在酷睿Ultra 200H AI PC上部署本地DeepSeek-R1大語言模型以及如何使用之后，我們不妨看看酷睿Ultra 200H的理論AI算力如何？以及它為什么能夠在本地運行時也能夠提供非?？焖俚纳审w驗？「UL Procyon理論與應用測試」首先來看看UL Procyon的CPU、GPU、NPU理論性能測試。在Intel OpenVINO加速下，英特爾酷睿Ultra 5 225H的CPU整數(shù)AI算力評分368，GPU Float16 AI算力評分799，NPU Float16 AI算力評分383。對比第一代酷睿Ultra 9 185H平臺，第二代酷睿Ultra 5 225H平臺的CPU、GPU、NPU AI算力分別提升323%、71%以及141%！簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署接下來我們看看酷睿Ultra 5 225H平臺在AI文本生成測試中的表現(xiàn)。下圖可以看到，UL Procyon文本生成測試中也完全占用了GPU Compute。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署該項測試主要包含Phi-3.5、Mistral 7B、Llama 3.1以及Llama 2四種大語言模型，酷睿Ultra 5 225H平臺分別得分648、616、586以及598分。Phi-3.5平均生成速度為17.97 tokens/s，Mistral 7B平均生成速度為12.28 tokens/s，Llama 3.1平均生成速度為11.44 tokens/s，Llama 2平均生成速度為7.2 tokens/s?！竧okens即大語言模型生成文本、字段、符號的單位，生成速度用tokens/s表示。比如，“我們今天學習AI知識。”這句話，大語言模型會對句子信息拆分成：我們丨今天丨學習丨AI丨知識丨。丨這些單字、詞以及句號就是1個token」簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署酷睿Ultra 9 285H平臺則是搭載了銳炫140T核顯，不過CPU性能與Ultra 5 225H有比較大差異，但GPU方面其實相差不大，因此兩個平臺做AI來說整體性能差異感受并不明顯。在Intel OpenVINO加速下，英特爾酷睿Ultra 9 285H的CPU整數(shù)AI算力評分439，GPU Float16 AI算力評分790，NPU Float16 AI算力評分366。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署接下來的AI文本生成測試中，酷睿Ultra 9 285H平臺分別得分661、632、619以及610分，整體比酷睿Ultra 5 225H要高一些。具體到四個大語言模型的速度，Phi-3.5平均生成速度為18 tokens/s，Mistral 7B平均生成速度為11.78 tokens/s，Llama 3.1平均生成速度為11.38 tokens/s，Llama 2平均生成速度為6.87 tokens/s，與Ultra 5 225H平臺沒有明顯差異。所以無論是高配還是主流配置，第二代酷睿Ultra在AI應用方面的體驗整體表現(xiàn)都非常不錯，對于不同預算的朋友來說都能提供很好的AI計算能力。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署「MLPerf Client基準性能測試」接下來我們引入一個全新的測試——MLPerf Client基準性能測試，這是由MLCommons開發(fā)的一款基準測試工具，旨在評估個人電腦（包括筆記本、臺式機和工作站）上大型語言模型（LLMs）和其他AI工作負載的性能。它通過模擬真實世界的AI應用場景，如AI聊天機器人和圖像分類等，為用戶提供清晰的性能指標，幫助用戶理解系統(tǒng)處理生成性AI工作負載的能力。因為這款測試工具支持Intel OpenVINO加速，這可以使我們更好地了解酷睿Ultra平臺跑AI的實際表現(xiàn)。通過下圖可以看到，MLPerf在測試時同樣會占滿GPU Compute。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署MLPerf在測試時使用了Llama2-7B_INT4模型，總體來說對硬件的要求并不算高，F(xiàn)irst token時間不到1秒，平均速度為12.91 tokens/s，因此酷睿Ultra 5 225H平臺部署本地化AI是基本沒有性能方面的問題的。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署酷睿Ultra 9 285H平臺在MLPerf測試中，F(xiàn)irst token時間同樣不到1秒，平均速度為12.05 tokens/s，與酷睿Ultra 5 225H平臺無差別。簡單又安全 用酷睿AI PC實現(xiàn)零門檻本地AI助手部署·結語DeepSeek、moonlight這些國產(chǎn)大語言模型的成功落地，對于AI PC在大眾層面的認知和普及有著極為重要的推動作用。此前人們可能只知道有AI PC這個概念，但具體是什么、怎么用、和傳統(tǒng)PC有怎樣的區(qū)別等等卻并不是很清楚。而DeepSeek、moonlight引發(fā)的探索熱情，則可以讓更多用戶了解這些問題的答案。同時，基于英特爾酷睿Ultra系列處理器打造的AI PC，可以說是性能體驗最好、穩(wěn)定性最好、兼容性最好的本地化AI部署平臺。Ollama、Flowy、LM Studio、Miniforge等常用軟件全部支持，并且支持Intel OpenVINO加速，再加上酷睿Ultra 200系列平臺本身在CPU、GPU、NPU AI算力上幾乎都實現(xiàn)了翻倍，因此無論是安裝部署還是最終的使用以及性能體驗，都實現(xiàn)了低門檻、高效率，這對于AI PC未來的發(fā)展意義深遠，同時可以讓更多用戶更加輕松地將AI助手部署到自己的日常工作、學習、生活環(huán)境中。此外，本地化AI應用有著安全、隱私、便利、不依賴網(wǎng)絡以及低使用成本的特性，能夠讓用戶隨時隨地、安全私密地借助AI來提升自己的工作、學習效率。因此，如果你想將DeepSeek、moonlight這樣的大語言模型部署到本地使用，那么英特爾酷睿Ultra AI PC絕對是當前非常不錯的選擇。