OpenAI憋了許久的第一顆自研推理晶片Jalapeño，終於把真實跑分甩出來了。
戰績非常炸裂。以前做AI硬體總要在吞吐量大和響應速度快之間二選一，Jalapeño一套架構直接全拿下，不僅每度電能處理更多的任務，吐字速度也大幅躍升。
實測推理跑分：全面壓制輝達，通測三個開源大模型
為了驗證實際表現，OpenAI在SemiAnalysis的公開基準測試InferenceX上對Jalapeño進行了全面評估。測試覆蓋了從高吞吐量到超低延遲的高互動場景，並以每單位功耗所能完成的AI有效工作量作為核心對比標準。
在測試的模型陣列中，不僅包含了GPT-OSS 120B，還直接拉來了DeepSeek R1（670B）以及Kimi K2.5 1T進行跨團隊實測：
能效比提升：在峰值吞吐量下，Jalapeño每瓦處理的AI任務量輝達GB200/GB300的1.5至1.9倍。
GPT-OSS測試:對比GB200跑分
DeepSeek R1測試:對比GB300跑分
延遲大幅降低：端到端延遲降低了1.7至3.6倍。
高互動場景：在對即時性要求極高的工作負載中，性能達到了對比系統的2.1至4.1倍。
超大模型表現：在測試的最大公開模型Kimi K2.5上，Jalapeño實現了約1.5倍的峰值每瓦性能提升，端到端延遲降低了3.4倍。
Kimi K2.5測試:對比GB300跑分
功耗方面，Jalapeño的額定功率為700瓦，但在實際測試的高負載運行中，持續功耗一直維持在550瓦或更低水平。OpenAI在內部前沿模型上的測試還顯示，隨著模型規模變大、任務變難，這顆晶片的領先優勢還會進一步擴大。
軟硬體全端協同設計
Jalapeño在立項之初就確立了核心目標：建構專門服務於現代與未來語言模型（特別是互動式智能體）的硬體系統。
大語言模型推理通常分為不同階段。處理提示詞的預填充階段屬於計算密集型，逐字生成回覆的解碼階段則嚴重受限於記憶體頻寬。晶片之間的資料搬運與通訊也會引入額外延遲，導致計算單元空閒等待。
針對這些痛點，Jalapeño從晶片、記憶體、網路、軟體到機架級系統進行了整套協同設計。架構對資料搬運與通訊延遲進行了極小化處理，包括KV快取（KV Cache）在內的模形狀態可以顯式放置在本地。通過其大域網際網路絡，整個推理任務得以在一個完整的互聯系統內運行，避免了跨資源搬運資料造成的性能損耗，靈活適應智能體場景中預填充與解碼平衡頻繁變化的特徵。
用AI造晶片，再讓AI來寫程式碼
AI技術直接參與了Jalapeño的完整研發流程。借助AI探索實現方案、縮短設計驗證閉環並最佳化算術電路，團隊從最初設計到完成流片僅用了9個月時間。
同時，Jalapeño被設計成一個對人類和AI都極具可預測性的程式設計目標。工程師通過本地張量、顯式通訊和可預測同步來描述任務，AI則負責最佳化計算對應、放置、調度和跨系統協同，大幅降低了平行程式設計的複雜度。
借助Codex與GPT-Astra(OpenAI即將發佈的新模型)，團隊在短短兩個月內就將三款原定計畫外的開源大模型最佳化到了高水平運行狀態。在GPT-OSS的部分注意力機制和專家混合（MoE）模組中，AI自動生成的實現程式碼比人類專家編寫的程式碼速度快了1.5到1.8倍。
年底正式部署，二代三代已在研發
Jalapeño的落地將直接提升OpenAI的算力使用效率，讓算力和業務收入的增長快於服務成本的增長。
這一架構重塑了推理的能效分級：
1.極速模式推理達到了過去快速模式的能效水準。
2.快速模式推理達到了過去批處理模式的能效水準。
3.批處理模式推理的能效進一步提升。
OpenAI計畫在今年年底前將Jalapeño正式部署到自家的計算基礎設施中。這個晶片是一個長期晶片平台的開端，目前第二代產品正在深入研發，第三代產品也已初具雛形。
OpenAI同時表示，為了滿足不斷增長的算力需求，團隊將繼續在訓練和推理任務中大規模部署輝達等合作夥伴的加速硬體。目前團隊正推進Jalapeño的生產認證、軟體成熟化、規模化維運準備以及更多模型的性能驗證工作。(AI寒武紀)