OctoTools通過標準化工具卡和規劃器,幫助LLMs高效完成複雜任務,無需額外訓練。在16個任務中表現優異,比其他方法平均精準率高出9.3%,尤其在多步推理和工具使用方面優勢明顯。
大型語言模型(LLMs)目前仍然很難處理需要多步驟推理、特定領域知識或外部工具整合的複雜任務,有研究工作探索了使用預先建構的外部工具來增強LLMs處理複雜任務的能力,但這些方法需要對模型進行微調或額外訓練以實現工具的整合,在不同任務之間難以靈活適應。
現有的方法要麼依賴於靜態的、預定義的工具集,要麼缺乏高效的工具選擇和規劃機制,這種低效性會導致任務執行出錯、計算成本增加,以及在應用於新領域時適應性受限。
傳統增強LLMs的方法包括少量樣本提示(few-shot prompting)、思維鏈(chain-of-thought reasoning)以及與外部工具介面的功能呼叫API;有的框架如LangChain和AutoGen允許LLMs夠使用外部資源,但通常智能用於指定應用場景或需要大量的預組態,沒有提供一種統一的多步驟規劃和執行方法,因此在處理複雜推理問題時效果不佳。