全球首個AI程式設計師Devin誕生之後，讓碼農紛紛恐慌。沒想到，微軟同時也整出了一個AI程式設計師──AutoDev，能夠自主產生、執行程式碼等任務。網友驚呼，AI編碼發展太快了。

全球首個AI程式設計師Devin的橫空出世，可能成為軟體和AI發展史上一個重要的節點。

它掌握了全端的技能，不只可以寫程式碼debug，訓模型，還可以去美國最大求職網站Upwork上搶單。


一時間，網友們驚呼，「程式設計師不存在了」？

甚至連剛開始攻讀電腦學位的人也恐慌，「10倍AI工程師」對未來的工作影響。


除了Cognition AI這種明星新創公司，美國的各個大廠也早就在想辦法用AI智能體降本增效了。

就在3月14日同一天，微軟團隊也發布了一個「微軟AI程式設計師」－AutoDev。


與Devin這種極致追求效率和產出結果的方向有所不同。

AutoDev專為自主規劃、執行複雜的軟體工程任務而設計，也能維護Docker環境中的隱私和安全。


在此之前，微軟已有主打產品GitHub Copilot，幫助開發人員完成軟體開發。

然而，包括GitHub Copilot在內的一些AI工具，並沒有充分利用IDE中所有的潛在功能，例如建置、測試、執行程式碼、git操作等。

基於聊天介面的要求，它們主要側重於建議程式碼片段，以及文件操作。

AutoDev的誕生，就是為了填補這一空白。


使用者可以定義複雜的軟體工程目標，AutoDev會將這些目標分配給自主AI智能體來實現。

然後，這些AI智能體可以對程式碼庫執行各種操作，包括檔案編輯、檢索、建置流程、執行、測試和git操作。

甚至，它們還能存取檔案、編譯器輸出、建置和測試日誌、靜態分析工具等。

在HumanEval測試中，AutoDev分別在程式碼產生和測試產生方面，分別取得了91.5%和87.8% Pass@1的優秀結果。

網友表示，AI編碼發展太快了，2021年GitHub Copilot能解決28.8%的HumanEval問題，到了2024年，AutoDev直接解決了91.5%的問題。


不用人類插手，AutoDev自主完成任務

AutoDev工作流程如下圖所示，使用者定義一個目標，例如「測試特定方法」。

AI智能體將測試寫入一個新文件，並啟動測試執行命令，以上都在安全的評估環境中進行。

然後，測試執行的輸出（包括失敗日誌）將合併到對話中。

AI智能體分析這些輸出，觸發檢索指令，透過編輯檔案合併檢索到的信息，然後重新啟動測試執行。

最後，Eval環境提供有關測試執行是否成功，以及使用者目標完成情況的回饋。

整個過程由AutoDev自主協調，除了設定初始目標之外，無需要開發人員介入。

相較之下，如果現有的AI編碼助理整合到IDE 中，開發人員必須手動執行測試（例如執行pytest）、向AI聊天介面提供失敗日誌、可能需要識別要合併的其他上下文訊息，並重複驗證操作確保AI產生修改後的程式碼後測試成功。


值得一提的是，AutoDev從先前許多在AI智能體領域的研究中汲取了靈感，例如AutoGen——編排語言模型工作流程並推進多個智能體之間的對話。

AutoDev的能力超越了對話管理，使智能體能夠直接與程式碼儲存庫交互，自動執行命令和操作，從而擴展了AutoGen。

同樣，AutoDev的研究也藉鏡了Auto-GPT。這是一種用於自主任務執行的開源AI智能體，透過提供程式碼和IDE特定功能來支援執行複雜的軟體工程任務。


上圖是AutoDev架構的簡單示意圖。

AutoDev主要由4個功能模組組成：

-用於追蹤和管理使用者與代理程式對話的對話管理器（Conversation Manager）；

-為代理提供各種程式碼和整合開發環境相關工具的工具庫（Tools library）；

-用於調度各種代理的代理調度器（Agents Scheduler）；

-以及用於執行操作的評估環境（Evaluation Environment）。

下面就跟大家詳細介紹每種功能模組。

使用者透過yaml檔案配置規則和操作來啟動流程。

這些文件定義了AI代理可以執行的可用命令（操作）。

使用者可以透過啟用/停用特定命令來利用預設設定或細微權限，從而根據自己的特定需求量身定制AutoDev。

配置步驟目的是實現對AI代理能力的精確控制。

在這一階段，使用者可以定義人工智慧代理的數量和行為，分配特定的責任、權限和可用操作。

例如，使用者可以定義一個「開發者」代理和一個「審核者」代理，讓它們協同工作以實現目標。

根據規則和操作配置，使用者可以指定AutoDev要完成的軟體工程任務或流程。

例如，使用者可以要求產生測試案例，並確保其語法正確、不包含錯誤（這涉及編輯文件、運行測試套件、執行語法檢查和錯誤查找工具）。

對話管理器（conversation manager）

會話管理器負責初始化會話歷史，在對正在進行的會話進行高級管理方面發揮關鍵作用。它負責決定何時中斷對話進程，並確保用戶、人工智慧代理和整個系統之間的無縫交流。

它維護和管理的對話對象，主要包括來自代理的資訊和來自評估環境（eval environment）的操作結果。

解析器解釋代理程式產生的回應，以預定格式提取指令和參數。它能確保指令格式正確，驗證參數的數量和準確性（例如，文件編輯指令需要文件路徑參數）。

如果解析失敗，就會在對話中註入錯誤訊息，阻止資源庫的進一步操作。

透過強制執行特定的代理權限和進行額外的語意檢查，成功解析的指令會被進一步分析。

它能確保建議的操作符合使用者指定的細粒度權限。

如果指令通過審查，對話管理員就會呼叫工具庫中的對應操作。

輸出組織器模組主要負責處理從評估環境接收的輸出。

它選擇關鍵資訊（如狀態或錯誤），選擇性地總結相關內容，並將結構良好的資訊添加到對話歷史記錄中。

這可確保使用者對AutoDev的操作和結果有一個清晰、有條理的記錄。

會話管理器決定何時結束會話。這可能發生在代理程式發出任務完成訊號（停止命令）、對話達到使用者定義的最大迭代次數/token、或在進程或評估環境中偵測到問題時。

AutoDev的全面設計確保了人工智慧驅動開發的系統性和可控性。


代理調度器負責協調人工智慧代理，以實現使用者定義的目標。

配置了特定角色和可用命令集的代理程式協同運行，執行各種任務。調度器採用各種協作演算法，如循環、基於令牌或基於優先權的演算法，來決定代理參與對話的順序和方式。

具體來說，調度演算法包括但不限於以下幾種：

(i)循環協作，依序呼叫每個代理，讓每個代理執行預定數量的操作；

(ii)基於令牌的協作，讓一個代理執行多個操作，直到它發出一個令牌，表示完成了分配的任務；

(iii)基於優先順序的協作，依照代理的優先順序啟動代理。代理調度器透過目前對話呼叫特定代理。

由OpenAI GPT-4等大型語言模型（LLM）和為程式碼產生而最佳化的小型語言模型（SLM）組成的代理透過文字自然語言進行交流。

這些代理程式從代理調度程式（Agent Scheduler）接收目標和對話歷史，並根據規則和行動配置指定的行動做出回應。每個代理程式都有其獨特的配置，有助於實現使用者目標的整體進展。

AutoDev中的工具庫提供了一系列命令，使代理程式能夠對資源庫執行各種操作。

這些命令旨在將複雜的操作、工具和實用程式封裝在簡單直觀的命令結構中。

例如，透過build和test <test_file>這樣的簡單指令，就能抽像出與建置和測試執行有關的複雜問題。

-檔案編輯：此類別包含用於編輯檔案（包括程式碼、設定和文件）的命令。

-該類別中的實用程序，如寫入、編輯、插入和刪除，提供了不同程度的精細度。

-代理可以執行從寫入整個文件到修改文件中特定行的各種操作。例如，指令write <filepath> <start_line>-<end_line> <content> 允許代理程式用新內容重寫一系列行。

檢索：在這一類別中，檢索工具包括grep、find和ls等基本CLI工具，以及更複雜的基於嵌入的技術。

這些技術能讓代理人尋找類似的程式碼片段，進而提高他們從程式碼庫中檢索相關資訊的能力。

例如，retrieve <content> 指令允許代理執行與所提供內容類似的基於嵌入的片段檢索。

-建置與執行：這類指令允許代理程式使用簡單直覺的指令毫不費力地編譯、建置和執行程式碼庫。底層建置命令的複雜性已被抽象化，從而簡化了評估環境基礎架構中的流程。這類指令的範例包括：建置、執行<檔案>。

-測試與驗證：這些命令使代理程式能夠透過執行單一測試案例、特定測試檔案或整個測試套件來測試程式碼庫。代理可以執行這些操作，而無需依賴特定測試框架的底層命令。

這類工具還包括校驗工具，如篩選器和錯誤查找工具。這類指令的範例包括：檢查語法正確性的syntax <file> 和執行整個測試套件的test。

-Git：使用者可以為Git操作配置細粒度權限。包括提交、推送和合併等操作。例如，可以授予代理只執行本地提交的權限，或在必要時將變更推送到原始程式碼庫。

-通訊：代理可以呼叫一系列旨在促進與其他代理和/或使用者交流的命令。值得注意的是，talk命令可以發送自然語言訊息（不解釋為版本庫操作命令），ask命令用於請求用戶反饋，而stop命令可以中斷進程，表示目標已實現或代理無法繼續。

因此，AutoDev中的工具庫為人工智慧代理提供了一套多功能且易於使用的工具，使其能夠與程式碼庫進行交互，並在協作開發環境中進行有效交流。

#AutoDev 你可以在這裡找到鉅亨號中所有使用「AutoDev」為關鍵字所發布的內容