但這些探索可能還不夠，主要在以下三個方面存在局限：
首先，最優(yōu) agent 架構(gòu)尚未確定。以 ReAct 為例，它向 agent 提示預(yù)定義的樣本，LLM 學(xué)會通過上下文學(xué)習(xí)生成下一步動作。此外，ReAct 認(rèn)為一個 agent 在動作執(zhí)行之前應(yīng)有中間推理步驟。
其次，現(xiàn)有 LAA 中 LLM 能否發(fā)揮多大功效，目前并沒有全面的了解?，F(xiàn)在的初步工作只比較了一些 LLM 骨干的性能，比如 ReAct 將 PaLM 作為骨干 LLM，ReWOO 則將 OpenAI 的 text-davinci-003 模型作為 agent 規(guī)劃的指令調(diào)優(yōu) Alpaca 模型。同時目前很少有工作全面比較使用不同預(yù)訓(xùn)練 LLM 的 LAA 性能。最近雖有一些工作發(fā)布了評估 LLM 作為 agent 的基準(zhǔn)，但未能共同考慮 agent 架構(gòu)和它們的 LLM 骨干。
最后，越來越復(fù)雜的任務(wù)可能需要多個 agent 共同發(fā)揮作用。比如 ReWOO 最近發(fā)現(xiàn)將推理從觀察中解耦出來可以提升 LAA 的效率。
在今天介紹的這篇論文中，來自 Salesforce Research 的研究者認(rèn)為，隨著任務(wù)復(fù)雜度的增加，特別是在開放域環(huán)境中，協(xié)調(diào)多個 agent 來完成一項(xiàng)任務(wù)會更好。舉例而言， 對于網(wǎng)頁導(dǎo)航任務(wù)，我們可以使用一個點(diǎn)擊 agent 來與點(diǎn)擊按鈕進(jìn)行交互，并請求另一個搜索智能體來檢索其他資源。

論文鏈接：https://arxiv.org/pdf/2308.05960.pdf
研究者建議全面比較 LAA 的性能，并深入探索了 LAA 的 agent 架構(gòu)和 LLM 骨干。具體地講，他們基于現(xiàn)有環(huán)境構(gòu)建了 agent 基準(zhǔn)，從而評估建構(gòu)在不同 LLM 骨干之上的不同 agent 架構(gòu)的性能。該 agent 基準(zhǔn)中的任務(wù)還劃分了不同的復(fù)雜程度，使得 agent 性能與任務(wù)復(fù)雜度的關(guān)聯(lián)分析成為可能。
此外，這些 agent 架構(gòu)在設(shè)計上旨在廣泛驗(yàn)證現(xiàn)有的設(shè)計選擇。關(guān)于多個 LAA 的編排，研究者提出了一種新穎的架構(gòu) BOLAA，它在多個協(xié)作 agent 之上有一個控制器模塊，用于多個分工 LAA 的選擇和通信。
本文的貢獻(xiàn)主要體現(xiàn)在以下幾個方面：

• 開發(fā)了 6 種不同的 LAA agent 架構(gòu)，并將這些架構(gòu)與不同骨干 LLM 結(jié)合，從而在提示、自我思考和規(guī)劃中驗(yàn)證 LAA 的設(shè)計直覺。同時開發(fā)了用于編排多 agent 策略的架構(gòu) BOLAA，增加了單體 agent 的動作交互能力；
• 在決策制定網(wǎng)頁導(dǎo)航環(huán)境和知識推理任務(wù)環(huán)境中進(jìn)行廣泛實(shí)驗(yàn)，報告了最終稀疏獎勵和中間召回方面的性能，這為 LAA 及其兼容的 LLM 的最優(yōu)選擇提供了定性指示；
• 結(jié)果顯示，與其他 LAA 架構(gòu)相比，BOLAA 在 WebShop 環(huán)境中始終取得了最佳性能。這些表明了在解決復(fù)雜任務(wù)時多個專業(yè) agent 的協(xié)作至關(guān)重要，可以說應(yīng)該與訓(xùn)練具有強(qiáng)泛化能力的大型 LLM 同等重要。

愛丁堡大學(xué)博士生符堯認(rèn)為，這項(xiàng)工作揭示了一種新的分布式計算范式：分布式 AI 計算。在傳統(tǒng)分布式計算中，每個節(jié)點(diǎn)處理部分任務(wù)；同樣在分布式 AI 計算中，一個 agent 就變成了處理部分任務(wù)的節(jié)點(diǎn)。

Agent 架構(gòu)
在這部分，研究者比較了不同的 LAA 架構(gòu)。他們首先展示了如何基于現(xiàn)有工作的直覺來設(shè)計不同的單體 LAA，然后展示了多個 LAA 的編碼設(shè)計，即 BOLAA。
每種類型的 LAA 都能夠通過自己的交互策略與環(huán)境交互。常見的 agent 類型包括：

• Zeroshot LAA
• ZeroshotThink LAA
• ReAct LAA
• PlanAct LAA
• PlanReAct LAA

BOLAA：協(xié)調(diào)多個 agent
盡管現(xiàn)有的 LLM 在完成各種語言理解任務(wù)方面取得了成功，但仍有許多問題尚未得到充分探討，如上下文長度限制、上下文內(nèi)學(xué)習(xí)和泛化能力等。因此，采用單體 LAA 來完成所有任務(wù)具有挑戰(zhàn)性，尤其是在任務(wù)復(fù)雜度較高的情況下。研究者因此提出了一種新的 agent 架構(gòu)，用于協(xié)調(diào)多個 LAA。

如圖 3 所示，BOLAA 有兩個主要模塊，即分工 agent 池和控制器。
分工 agent 池管理多個 LAA，每個 LAA 可能只專注于生成一種類型的執(zhí)行。例如在網(wǎng)絡(luò)導(dǎo)航環(huán)境中，可以建立點(diǎn)擊 LAA 和搜索 LAA。這樣，前者只生成下一個點(diǎn)擊按鈕，而后者只輸出搜索查詢，從而將復(fù)雜的任務(wù)劃分為可行的任務(wù)?？刂破鞯脑O(shè)計目的是從 agent 池中有選擇地調(diào)用 LAA。
控制器有一個 agent 選擇層，用于選擇最相關(guān)的 LAA 進(jìn)行調(diào)用。然后，控制器為選定的 LAA 構(gòu)建信息并建立通信。從分工 LAA 獲得響應(yīng)后，控制器將其解析為可執(zhí)行的操作，然后與環(huán)境交互。
請注意，也可以將這些分工 LAA 設(shè)計為思考 / 計劃 agent。這樣，自我思考和規(guī)劃工作流也會被保留下來。
實(shí)驗(yàn)結(jié)果
研究者從兩個環(huán)境中構(gòu)建了評估基準(zhǔn)，WebShop 和 HotPotQA 以及維基百科 API 的用例。
關(guān)于評估指標(biāo)，研究者使用每個環(huán)境中的獎勵得分來評估 LAA 性能。在 WebShop 環(huán)境中，獎勵被定義為購買商品與 ground-truth 商品之間的屬性重疊率。在 HotPotQA 環(huán)境中，獎勵被定義為 agent 答案與 ground-truth 答案之間的 F1 分?jǐn)?shù)分級。
此外，研究者為 WebShop 環(huán)境開發(fā)了召回性能，如果在一個任務(wù)會話中檢索到 ground-truth 項(xiàng)目，召回性能定義為 1；如果沒有檢索到地面實(shí)況項(xiàng)目，召回性能定義為 0。召回率以 WebShop 環(huán)境中所有任務(wù)的平均召回分?jǐn)?shù)來報告。
決策模擬
研究者比較了 WebShop 環(huán)境中 LAA 的決策性能。下表 1 列出了平均獎勵方面的表現(xiàn)。Agent 提示是根據(jù)不同 LLM 模型的最大上下文長度構(gòu)建的。關(guān)于 BOLAA，研究者設(shè)計了一個搜索 LAA 和一個點(diǎn)擊 LAA，分別生成搜索查詢和點(diǎn)擊元素。觀察結(jié)果如下：

• 與其他 LAA 架構(gòu)相比，BOLAA 的性能最佳，尤其是在高性能 LLM 上構(gòu)建時。
• 將 LLM 與最佳 LAA 架構(gòu)配對至關(guān)重要。
• 強(qiáng)大的 LLM 能夠在 Zeroshot LAA arch 下進(jìn)行泛化。
• 當(dāng) Agent 基于開源 LLM 構(gòu)建時，規(guī)劃流通?？梢蕴岣咝阅堋?/span>

知識推理模擬
隨后，研究者在 HotPotQA 環(huán)境中進(jìn)行了基準(zhǔn)測試，以評估 LAA 的多步驟推理能力。由于在該環(huán)境中，可用的搜索、查找和完成運(yùn)算都與知識推理有關(guān)，很難分開，因此他們將 BOLAA arch 留待此后工作中使用，只比較其他 agent arch 的性能。結(jié)果如下表 3 所示：

總體來說，ReAct agent 引擎的性能最好，這可以從幾個方面來解釋。
首先，少樣本提示對于 LAA 的行為生成和推理能力是必要的，尤其是在使用較小規(guī)模語言模型進(jìn)行實(shí)驗(yàn)時。其次，通過比較 ReAct、PlanAct 和 PlanReAct，可以得出結(jié)論：LAA 的規(guī)劃流阻礙了其在知識推理環(huán)境和任務(wù)中的表現(xiàn)。原因在于，知識推理任務(wù)需要上下文信息來進(jìn)行推理，而規(guī)劃流是在交互之前執(zhí)行的。因此，這些生成的規(guī)劃往往會導(dǎo)致 LAA 產(chǎn)生更多幻覺。第三，在知識推理任務(wù)中，模型大小比上下文長度更重要。大型模型的推理能力更強(qiáng)，因此表現(xiàn)更好。
此外，OpenAI gpt-3.5 模型的卓越推理能力再次得到驗(yàn)證。研究者還觀察到 Llama2-70b 在所有開源 LLM 中表現(xiàn)最佳，這表明 Llama-2 模型未來可能會進(jìn)行微調(diào)。
在比較了 LAA 和 LLM 的總體性能之后，研究者對它們在任務(wù)復(fù)雜度方面的性能進(jìn)行了更詳細(xì)的研究，結(jié)果如下圖所示：

更多研究細(xì)節(jié)，可參考原論文。