多模態(tài)交互離不開(kāi)硬件載體，近期有不少開(kāi)發(fā)者在研究聆思CSK6大模型開(kāi)發(fā)板除了使用出廠示例自帶的星火大模型，能不能接入ChatGPT、文心一言、通義千問(wèn)、豆包、智譜glm、kimi等大模型，這個(gè)是必須支持的。但由于各家接口和數(shù)據(jù)格式不一樣，有些朋友直接參考星火大模型接入的方式?jīng)]有走通，因此本篇以聆思CSK6大模型開(kāi)發(fā)板接入ChatGPT為例，分享具體的接入步驟，大家按照文檔步驟操作即可。

由上圖可見(jiàn)，當(dāng)前SDK方案是把開(kāi)發(fā)套件當(dāng)做輸入端，文字或圖片內(nèi)容先上傳到聆思的大模型平臺(tái)（LSPlatform），然后平臺(tái)再根據(jù)匹配的應(yīng)用策略轉(zhuǎn)給后端的大模型處理。基于聆思大模型平臺(tái)提供的應(yīng)用編排功能，我們?nèi)绻褂闷渌竽Ｐ停恍枰獜脑贫烁拇竽Ｐ徒尤牍?jié)點(diǎn)，而無(wú)需去修改硬件端。

● 鏈路1: 可通過(guò)inject節(jié)點(diǎn)調(diào)用ChatGPT節(jié)點(diǎn)，并將結(jié)果輸出到output1。

● 鏈路2: 可通過(guò)web對(duì)話頁(yè)調(diào)用ChatGPT節(jié)點(diǎn)，最終將大模型結(jié)果輸出到對(duì)話頁(yè)面上。

● 鏈路3: 可通過(guò)開(kāi)發(fā)板調(diào)用ChatGPT節(jié)點(diǎn)，最終將大模型輸出的結(jié)果進(jìn)行語(yǔ)音合成實(shí)現(xiàn)端側(cè)播報(bào)。

登陸LSPlatform，創(chuàng)建新應(yīng)用。

創(chuàng)建成功后在彈出的界面進(jìn)入應(yīng)用編排服務(wù)。

● 下載工程示例：ChatGpt.json

● 導(dǎo)入工程示例：將ChatGpt.json文件進(jìn)行導(dǎo)入

若提示“您要導(dǎo)入的某些節(jié)點(diǎn)已經(jīng)存在于工作空間中。”，則選擇“導(dǎo)入副本”即可。

配置參數(shù)說(shuō)明：

● API-KEY：調(diào)用openai的APIKEY

● Host：國(guó)內(nèi)通常無(wú)法直接openai的接口，可通過(guò)代理服務(wù)的HOST訪問(wèn)openai的接口

● Model：提供GPT3.5/GPT4.0可選擇，可自行添加更多模型選項(xiàng)。

● Stream：是否流式返回

chatGPT子流程節(jié)點(diǎn)默認(rèn)封裝了訪問(wèn)openai的/v1/chat/completions接口，若需要調(diào)用openai其他接口則需要修改子流程節(jié)點(diǎn)代碼。

在完成參數(shù)配置，進(jìn)入完整體驗(yàn)之前，我們可以簡(jiǎn)單測(cè)試驗(yàn)證，驗(yàn)證是否成功調(diào)用ChatGpt。

重啟應(yīng)用后，再次點(diǎn)開(kāi)【編排應(yīng)用】，點(diǎn)擊注入，會(huì)觸發(fā)一次ChatGpt子流程調(diào)用，標(biāo)記2的紅框中輸出類(lèi)似日志即代表成功建立鏈接。

回到【我的應(yīng)用】，雙擊ChatGpt應(yīng)用，在彈出的應(yīng)用詳情頁(yè)面點(diǎn)擊右上角分享按鈕打開(kāi)web驗(yàn)證配置，該配置頁(yè)包含測(cè)試地址和訪問(wèn)密碼。

云端接入ChatGpt成功后，要想在聆思CSK6大模型開(kāi)發(fā)板上進(jìn)行語(yǔ)音交互，需要把對(duì)接了ChatGpt的云端服務(wù)跟指定開(kāi)發(fā)板綁定。

在產(chǎn)品管理模塊點(diǎn)擊新建產(chǎn)品按鈕，并按要求填寫(xiě)你的產(chǎn)品名稱。

配置你需要調(diào)用的大模型應(yīng)用，完成配置后，用戶即可體驗(yàn)ChatGpt與開(kāi)發(fā)板交互。在此我們僅需在配置應(yīng)用勾對(duì)文章第一步創(chuàng)建的應(yīng)用即可。

讀取設(shè)備id

設(shè)備ID是一個(gè)產(chǎn)品下的唯一設(shè)備標(biāo)識(shí)，我們需要獲取當(dāng)前設(shè)備ID方便后續(xù)在云端配置，才能讓設(shè)備鑒權(quán)通過(guò)實(shí)現(xiàn)端云交互。

讀取方式：

cskburn desktop是一款聆思推出的桌面燒錄工具，下載地址（cskburn桌面燒錄工具 | 聆思文檔中心）打開(kāi)軟件后

1.點(diǎn)擊串口下拉框，選擇連接開(kāi)發(fā)套件后識(shí)別到的串口編號(hào)；

2.點(diǎn)擊獲取信息

3.得到設(shè)備ID

加入設(shè)備列表

聆思平臺(tái)只會(huì)對(duì)列表中的設(shè)備鑒權(quán)提供交互服務(wù)，因此需要將前面讀取到的設(shè)備ID在設(shè)備管理頁(yè)面進(jìn)行導(dǎo)入才能實(shí)現(xiàn)設(shè)備正常交互。

完成云端配置后，僅需將產(chǎn)品ID寫(xiě)入設(shè)備，才能讓設(shè)備找到對(duì)應(yīng)的產(chǎn)品完成鑒權(quán)服務(wù)。

寫(xiě)入方式：

使用數(shù)據(jù)線連接開(kāi)發(fā)板 DAP_USB 接口后，打開(kāi)聆思在線串口終端,選擇對(duì)應(yīng)的串口設(shè) 備進(jìn)行連接，波特率默認(rèn)115200，完成配置后點(diǎn)擊連接按鈕。

通過(guò) aiui set product_id 和aiui set secret_id指令可以分別配置開(kāi)發(fā)板接入的大模型應(yīng)用 product ID 及其密鑰，示例如下：

aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

product_id和 product_secret 可在對(duì)應(yīng)產(chǎn)品的產(chǎn)品信息中獲取，請(qǐng)將指令中的參數(shù)替換為產(chǎn)品信息中的 id 與 secret 信息。

● 語(yǔ)音交互

用小美小美喚醒，并提問(wèn)你是誰(shuí)，語(yǔ)音回復(fù)它是人工智能助手并且詢問(wèn)問(wèn)題時(shí)，它給予回復(fù)即可驗(yàn)證成功。至此，可以確認(rèn)ChatGpt接入成功。本文使用的聆思CSK6大模型開(kāi)發(fā)板的詳細(xì)信息可參考線上文檔。https://docs2.listenai.com/x/nTn9kMMCU