11月22日，中國科學院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心發(fā)布CARES Copilot具身智能手術AI大模型2.0版本，可為臨床診斷和決策提供支持。

中國科學院香港創(chuàng)新研究院是中央批準的內地在港設立的首個國家級科研機構，人工智能與機器人創(chuàng)新中心是其下設兩家中心之一，圍繞多模態(tài)AI手術大模型、具身智能醫(yī)療機器人、人工智能基礎理論等方面開展研究工作，目標是打造香港人工智能品牌。

今年3月，AI多模態(tài)大模型CARES Copilot 1.0發(fā)布，可以在手術階段自動識別病灶和解剖結構，以識別和輔助醫(yī)生的功能為主。

而CARES Copilot 2.0的突破性主要在四方面：提供高效醫(yī)學搜索與內容生成功能，幫助醫(yī)療專業(yè)人士快速檢索與生成結構化醫(yī)學報告；提供藥物相互作用、適應癥與禁忌癥等多層次查詢，利用AI技術自動解析并生成精準用藥建議；能快速生成針對呼吸系統(tǒng)診斷的詳細且專業(yè)的手術報告；基于大語言模型技術，集成數(shù)字人定位、機器人運動控制與三維重建，實現(xiàn)全自動超聲檢查。

中科院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心主任劉宏斌教授接受界面新聞采訪時指出，2.0版本大模型的突破性體現(xiàn)在，首先從整體架構來看，為了保證回答的安全性、可解釋性和可追溯性，整體技術設計上做了全面升級。另外是多模態(tài)能力，即處理不同模態(tài)的圖像，大模型可以理解核磁共振、CT、超聲影像，并進行圖像轉換。

“我們將1.0大模型給醫(yī)生后，他們使用最多的功能是手術規(guī)劃。以前做手術規(guī)劃要翻書，決定術式后還有一系列注意事項，如腫瘤的位置、怎樣開缺口?，F(xiàn)在大模型能幫助規(guī)劃。”劉宏斌提到，醫(yī)生反饋指，手術規(guī)劃找顱骨缺口角度時，一般要用CT拍骨性結構，但神經外科手術里一般只有核磁影像，所以就產生了核磁共振跟CT轉化的需求和相應的技術迭代。

在1.0版本，CARES Copilot使用3000多本國內外的神經外科教材以及指南訓練作為數(shù)據(jù)進行訓練。劉宏斌表示，2.0版本的數(shù)據(jù)大幅增加，“1.0只有神經外科一個科室的數(shù)據(jù)，2.0增加了呼吸科、超聲科、麻醉科等科室數(shù)據(jù)?！?/p>

在手術領域，具身智能技術正逐步滲透到微創(chuàng)手術和手術機器人中。2.0大模型主要聚焦術中的人機交互，即大模型在手術過程中要跟醫(yī)生進行互動、理解醫(yī)生的提問，進一步聚焦具身應用。

“比如醫(yī)生會告訴大模型，需要腫瘤的某個切面圖。傳統(tǒng)手術中，完成這個指令需要幾個步驟，首先對掃描圖像進行3D重構，分割腫瘤區(qū)域，并考慮從哪個地方做切面，最后展示。一個受過訓練的醫(yī)生會自然而然做這些工作，但是讓一個AI系統(tǒng)來做的話，它需要知道怎么分解這個任務、調動相應功能、組合起每個環(huán)節(jié)。這個是我們在2.0的時候重點開發(fā)的。”劉宏斌認為，具身智能體現(xiàn)在，AI系統(tǒng)能夠跟人交互，并進行任務的規(guī)劃和執(zhí)行。

基于多科室的數(shù)據(jù)訓練，CARES Copilot2.0也進一步完善手術指導功能。例如在神經外科中，可以進行手術導航，給醫(yī)生一些實時的提醒，比如應該看哪個部位、重點關注核磁影像上的哪個區(qū)域；麻醉科中，可以實現(xiàn)輸血決策，在術中指導如何輸血。

中科院香港創(chuàng)新院在辦公室展廳中展出了正在打造的人工智能體（Embodied AI）手術室。雖然稱之為“手術室”，更多是智能的技術集合體，包括微創(chuàng)手術機器人，部署在邊緣計算系統(tǒng)上的AI大模型，內窺鏡、手術室監(jiān)控攝像頭、超聲等實時影像設備。中心人員介紹指，該系統(tǒng)已經完成了四次的尸體實驗。

人工智能體（Embodied AI）手術室 拍攝：張熹瓏

劉宏斌告訴記者，手術室可能會在CARES Copilot 3.0時發(fā)布，目前機械臂也具備幫醫(yī)生拿工具的功能。

“傳統(tǒng)手術室中，醫(yī)生想一直有一個好助手，其實是一個悖論。好助手很難找，加上助手能很好地配合后就想去當主刀了?！眲⒑瓯筇岬剑钥尚械姆绞绞?，機器人經過跟醫(yī)生的交互學習后，熟悉其操作方式和習慣用語，擔任助手的角色，“這個功能我們現(xiàn)在正在跟醫(yī)生一起開發(fā)，這也對連續(xù)學習能力提出要求?！?/p>

正在打造國際創(chuàng)科中心的香港，將人工智能視為重點發(fā)展的賽道。香港2024《施政報告》提出，擴大研究和創(chuàng)科產業(yè)投資，設立100億元“創(chuàng)科產業(yè)引導基金”，加強引導市場資金投資指定策略性新興和未來產業(yè)，包括生命健康科技、人工智能與機械人、半導體與智能設備、先進材料和新能源等。

CARES Copilot為香港最早落地的垂直領域大模型之一。此外，香港科技大學研發(fā)出四個AI醫(yī)學大模型，涵蓋乳腺癌診斷、病理輔助和全科醫(yī)學等，可為癌癥等多達30種疾病提供診斷和預后評估；香港城市大學孵化的增強現(xiàn)實手術導航能將CT的2D影像轉化為3D手術導航系統(tǒng)。

另一方面，香港通過引進重點企業(yè)完善生態(tài)圈。近日落戶的百度智能云（香港）人工智能創(chuàng)新中心，就是通過香港引進重點企業(yè)辦公室落戶本地的首批重點企業(yè)。這次合作為跨界別、跨地域——香港千帆科技負責投資和日常營運，北京百度負責技術和軟硬件建設，并派駐人員進行培訓和技術支持。

位于瑞士洛桑的國際管理發(fā)展學院發(fā)布的《2024年世界數(shù)碼競爭力排名》顯示，香港上升3位至全球第7位，其中“科技”和“知識”排名分別位列全球第3位及第5位。不過，香港于研發(fā)總支出百分比和用于教育的總公共開支分別居全球第38及第50位，屬于需要改善的項目。

香港數(shù)碼港的人工智能超算中心首階段設施將于年內投入服務，將提供約每秒浮點運算300千萬億次（PFLOPS）的算力，并會逐步提升至3000 PFLOPS的水平，相當于一小時可完成近100億張圖像處理。

港府此前亦推出30億元的“人工智能資助計劃”，資助本地大學、研發(fā)機構及企業(yè)等運用數(shù)碼港超算中心的算力。

劉宏斌透露，有意向跟超算中心合作，“之前跟算力中心的負責人有很多次交流，他們表示很愿意支持我們的科研。等中心正式運營后，我們會再跟進具體的合作形式。”