最新課程：哈佛 CS2680
一個 AI Agent 從你敲下第一句提示詞，到物理顯示卡上吐出最後一個 token，中間到底穿透了那些技術層級？
很多開發者在嘗試建構複雜的智能體系統時，很快就會撞牆。瓶頸往往不在於提示詞寫得夠不夠巧，而在於真實的工程現實：不可控的延遲、高企的 Token 帳單、長程規劃失控，以及多輪互動下迅速被吃滿的視訊記憶體。
想要真正做出一套可靠的高性能 Agent，只懂上層框架不夠，只看底層 CUDA 算子也不夠。
哈佛大學今年秋季開設了一門極具特色的硬核大課：CS2680《Modern AI Systems: Agents and System Optimizations》。
全學期不搞分散的散點練習，只盯準一個名為 Mads 的智能體系統，帶你從應用層的 Agent Loop 一路往下拆，直到接管開源模型的推理服務與底層 GPU 硬體。
目前，這門課的大綱、閱讀清單以及課件幻燈片已全部在官方首頁向公眾開放。
課程官網：https://cs2680.seas.harvard.edu/01. 課程大綱與主線
這門課之所以讓人眼前一亮，首先在於它的課程結構設計。
它沒有把內容割裂成孤立的章節，而是以一個名為 Mads（Modern Agent Design and Systems） 的系統貫穿始終。全課 14 周被清晰地切分為兩大階段：
前半程（第 1～7 周）聚焦智能體設計與評估。 從 Claude Code 的運行機制切入，依次講透多 Agent 協作、上下文與工具管理（ReAct）、長期記憶（MemGPT）、評測體系以及成本性能權衡。
後半程（第 8～14 周）深挖底層推理系統。 從 GPU/CUDA 基礎出發，逐層拆解批處理調度、PagedAttention（vLLM/SGLang）、投機推理、KV Cache 最佳化與量化壓縮，最終落到智能體請求調度與負載平衡。
02. 五個貫穿式作業
CS2680 不設期末考試，而是通過5個作業一環扣一環，帶著學習者從最上層的前端一路改到底層推理引擎：
1. Mads-Lens（搭建可視化監控台，10%）
用 Claude Code 為它自己寫一個 Web UI 前端，即時可視化運行軌跡：展示每次工具呼叫的入參和返回結果，把派生的子 Agent 展開成樹狀圖，定位報錯現場，並即時統計每次呼叫的 Token 消耗與花費。
2. Mads-Loop（手寫核心執行階段，10%）去掉現成客戶端，直接圍繞模型 API 手寫 Agent Runtime：實現結構化工具呼叫、上下文滑動窗口管理、報錯重試與退出判定。助教會用隱藏測試集專門測這套 Runtime 的容錯能力，重點看程式碼循環本身夠不夠穩。
3. Mads-Opt（壓榨成本與延遲，20%）在呼叫商業 API 的前提下做端到端最佳化。要求在任務成功率不降的基礎上，砍掉多餘 Token、把簡單任務分流給便宜的小模型、做工具並行呼叫並重構上下文，把延遲和開銷壓到最低，最後寫一篇技術復盤部落格。
4. Mads-Serve（接管本地推理引擎，20%）拿掉外部商業 API，課程給每位學生發一張 RTX PRO 4500（32GB 視訊記憶體） 獨立 GPU。學生需要在卡上自己部署開源模型，把前一步寫好的 Agent 接進本地推理服務，通過改批處理調度和 KV Cache 復用解決視訊記憶體與排隊瓶頸，按完成任務數和總耗時在全班即時榜單（Leaderboard）上排名。
5. Mads-Stack（全端解封打榜，10%）最後一步把上層 Agent 架構、開源模型選型和底層推理核心全部放開修改。統一用 Terminal-Bench 2.0 評測，跑過基線就能拿滿基礎分，前 26 項任務的綜合排名還會有額外的榜單加分。
03. 學習地址
課程首頁：https://cs2680.seas.harvard.edu/
需要提醒的是，這門課是一門地道的研究生級系統硬核課程，並不適合零基礎入門。
官方先修要求是完成過 CS61（電腦系統導論）以及至少一門研究生等級的系統課，默認熟練掌握 Python 與 PyTorch。課程首頁寫得非常直白：老師在課堂上不會把作業所需的所有技術細節都講完，想要拿到滿意的成績，必須做好課後花費大量時間自學和偵錯實驗的準備。
值得一提的是，雖然哈佛官方目前暫未向外網公開課堂現場錄影，但官方所有課件幻燈片均已按周次直接放出；同時海外技術社區也已經在 YouTube 上推出了針對這門課的逐講視訊深度拆解（覆蓋 Claude Code 運行原理、多 Agent 架構、上下文管理與評測基準等），非常適合配合官方課件同步精讀。
大模型時代已經從單純的比拚提示詞，走向了智能體架構與推理基礎設施協同最佳化的深水區。
無論你正在開發智能體應用，還是在搭建模型推理服務，哈佛 CS2680 所給出的這條工程演進路線，都值得每一位工程人員認真研讀。
目前官方首頁上的教學日曆、課件幻燈片與論文清單均可自由訪問，建議收藏學習。 (Datawhale)