AI 智能助手照進現(xiàn)實。

近幾個月，ChatGPT、GPT-4 等大語言模型（LLM）展現(xiàn)出突破性的理解、推理、生成、泛化和對齊能力，對各行各業(yè)的研究方式和生產效率均帶來廣泛而深遠的變革及影響。此外，LLM 還展現(xiàn)出在真實世界的開放場景中解決復雜問題的能力，使科幻電影中無所不能的 AI 智能助手照進了現(xiàn)實。
在實現(xiàn)自然場景中的任務自動化時，一個復雜的任務往往由多個子任務構成，這需要多個模型或 APIs 的協(xié)作。如何確保 LLM 和執(zhí)行器之間高效、安全、穩(wěn)定地協(xié)同工作，是構建 Responsible AI ，以及讓 LLM 可靠地為人類提供服務的關鍵問題。
為了解決這個問題，來自微軟亞洲研究院的研究團隊提出 Responsible Task Automation (ResponsibleTA) 框架，提升 LLM 和執(zhí)行器之間協(xié)同工作的安全性和有效性。

論文鏈接：https://arxiv.org/pdf/2306.01242.pdf項目主頁：https://task-automation-research.github.io/responsible_task_automation/
方法 
本文通過提出一個新的任務自動化框架，通過可行性檢測，完成度檢驗，用戶隱私保護等三個模塊，提高了大語言模型作為任務助手的可靠性，為未來的人機交互提供了一種可行的方式。
該系統(tǒng)框架包含基于 LLM 的中央處理單元、指令執(zhí)行器、指令可行性預測器、指令完成度檢驗器和安全性保護器。

 Responsible Task Automation (ResponsibleTA) 框架示意圖
當 ResponsibleTA 接收到復雜任務對應的高層級指令時，安全性檢測自動將包含用戶隱私的命令實體替換成對應的占位符，然后將去隱私化的指令發(fā)送給部署在云端的 LLM，LLM 據此規(guī)劃實現(xiàn)該負責任務目標的單步指令，然后發(fā)送給的部署在本地的執(zhí)行器實際執(zhí)行相關操作。從 Responsible AI 的角度出發(fā)，該框架賦予 LLM 三個新的能力：
1）可行性預測：ResponsibleTA 框架針對 LLM 和執(zhí)行器的協(xié)同，開發(fā)設計了可行性預測模塊。該模塊用于對 LLM 的輸出進行可行性判斷，及時****不可行的執(zhí)行指令，從而規(guī)避在執(zhí)行這些指令的過程中產生的不可控風險。當 LLM 輸出的指令判斷為「不可行」時，可行性預測期會將其分析結果返回給 LLM，并要求其重新進行任務規(guī)劃，力求將合理可行性的指令交付給執(zhí)行器，提升任務自動化的成功率。
2）完成度檢驗：ResponsibleTA 框架設計了一個完成度檢驗器，用于在執(zhí)行器每次執(zhí)行結束后自動檢查其執(zhí)行結果是否符合預期。該模塊根據執(zhí)行器執(zhí)行后的即時狀態(tài)，判斷 LLM 當前規(guī)劃是否完成，并提供及時補救的可能。當執(zhí)行狀態(tài)判定為「未完成」時，完成度檢驗器會要求 LLM 啟動 replanning，使其能夠及時調整任務規(guī)劃。
完成度檢驗器和上述可行性預測器，分別在 LLM 輸出指令的執(zhí)行前后，對指令的合理性和執(zhí)行的完成性進行校驗，為任務自動化的可靠性提供了雙重保險。
3）用戶隱私保護：ResponsibleTA 框架還設置了用戶隱私保護機制，該機制通過一個本地記憶單元實現(xiàn)。當用戶將高層級命令發(fā)送給部署在云端的大語言模型時，ResponsibleTA 中的隱私保護模塊自動將命令中的隱私信息（如：用戶名、密碼、地址等）替換成對應的占位符，而當大語言模型將規(guī)劃的低層級指令發(fā)送給部署在本地的執(zhí)行器是，占位符會被自動替換成對應的真實信息。于此方式，用戶的隱私信息僅在本地被存儲和被使用，無需發(fā)送至云端，從而避免在傳輸和使用中的不可控風險。
針對 ResponsibleTA 中的可行性預測和完成度檢查功能，其研究團隊在 UI 任務自動化場景下提出并對比了兩種不同的技術路線，并在實驗部分詳細分析了這兩種技術路線的特點。以可行性預測為例，第一種技術方案通過 Prompting 的方式利用大語言模型內部知識進行判斷。具體地，研究者訓練了一個屏幕解析模型將 UI 頁面解析成所含 UI 元素的語言描述，并將和指令一起輸入給 GPT-4 模型，讓 GPT-4 判斷當前指令的可行性。具體方案如下圖所示。

基于 prompt engineering 的（指令）可行性預測器實現(xiàn)方案

另一種技術方案在于訓練一個專用的多模態(tài)模型，該模型接收 UI 頁面的視覺信號和對應的語言指令為輸入，輸出該指令的可行性判定結果，具體結構如下圖。

基于專用模型的（指令）可行性預測器實現(xiàn)方案
完成度檢驗器的實現(xiàn)方案于可行性預測器類似，在此不詳細贅述。
實驗
該工作的作者首先對 ResponsibleTA 中的關鍵模塊進行定性實驗，驗證其有效性，并對比不同實現(xiàn)方式的特點。據下表所示實驗結果，作者認為專用模型能夠提供更優(yōu)的實驗結果但需要收集特定任務對應的數據和標注用于模型訓練，而基于 LLM 的技術方案也能達到不錯的效果，并在實際部署的成本和靈活性方面具有優(yōu)勢。

可行性預測器和完成度檢驗器的定性實驗結果
作者還在真實世界的實際使用場景中進行 online testing, 并匯報了基線模型，具有可行性預測器的 ResponsibleTA 框架和完整版的 ResponsibleTA 框架在 12 個實際 UI 任務執(zhí)行過程中的具體表現(xiàn)。作者觀察到所提出的可行性預測器和完成度檢驗器能夠避免執(zhí)行不可理 / 不可行的指令，并能通過讓 LLM 進行 replanning 的方式進行及時補救，從而提升任務自動化的成功率。

真實世界中實例研究定量結果。表格中的數字表示 「有效執(zhí)行步數 / 總共執(zhí)行步數 （人類專家執(zhí)行步數）」。
此外，作者還通過具體的案例分析直觀地展現(xiàn)了 ResponsibleTA 框架中的關鍵模型如何對一個失敗案例進行補救，使其成為一個成功案例。

 案例分析：進入亞馬遜網站并將最便宜的充電器添加至購物車。