🔥最近，開源本地推理引擎 Strata 在AI圈引起轟動！不僅能把大模型一鍵部署在輝達、AMD、intel、蘋果等各種硬體上，更關鍵的是，動輒跑出數百tok/s！實現了實用性。而不是數s/tok那種笑話。
本地AI終於能跟雲端AI API服務掰手腕了！
與以往的技術相比，Strata是如何穩定實現數百倍本地AI性能提升的？
關鍵就是Strata並沒有去做一個通用AI引擎，而是從一開始就是專為 Qwen3.8-Flash-Next（125B 參數的超大規模 MoE 模型，實際每token只啟動約6B參數）開發能在消費級顯示卡（12GB+ VRAM）+普通記憶體（32–64GB）上高速本地運行而專門開發的。
更刺激的是，其開發者Niko Veit（X帳號 @coldniko）的更新速度，幾乎每天一個新版本，每天睜開眼性能都提升10%。最新正式推送了開源本地推理引擎 Strata v0.1.44。這個項目從最初只是他自己用來跑模型的工具，到現在已經成了本地大模型社區裡熱捧的當紅炸子雞。
Strata 主打什麼？
讓普通消費級硬體也能高效跑大模型。它深度最佳化了 NVIDIA、AMD、Intel 多平台GPU，支援多卡、低記憶體、舊顯示卡（甚至Pascal時代的P100、V100），還能把廉價的DDR3機器+小顯示卡組合玩出花來。很多人用它跑 Qwen3.8-Flash-Next 這類模型，輕鬆上百 tokens/s，團隊部署也能當本地“Codex後端”用。
這位叫 Niko Veit 的斯洛維尼亞天才開發者，幾乎以日更甚至半天一更的節奏，持續打磨一款名為 Strata的本地推理引擎。它的目標簡單到近乎瘋狂：讓普通遊戲電腦，跑起原本需要伺服器叢集的 Qwen3.8-Flash-Next（約125B參數 MoE 大模型）。
一張 12–24GB 的 NVIDIA 或 AMD 顯示卡，加上 32–64GB 系統記憶體，Windows 或 Linux 一鍵安裝，就能在本地獲得 60–95 tokens/s 的輸出速度，支援超長上下文，提供 OpenAI / Anthropic 相容 API，資料完全不出本機。
到 2026年10月中旬（v0.1.44 系列），它已經支援 Apple Silicon、新增 Qwen3.6-35B-A3B，並持續把性能往上推。社區已經開始調侃：“下載最新版的時候小心點，Niko 可能在你下載完成前又發了新版本。”
這不是普通的開放原始碼專案，而是一個人用極致工程，把大模型推理門檻徹底拉低的現實樣本。更關鍵的是——它到底是怎麼把普通硬體的性能“榨乾”的？
Strata 到底是什麼？
Strata 是專為 Qwen3.8-Flash-Next這類超大規模 MoE（Mixture-of-Experts）模型最佳化的推理引擎。
這個模型一共有 24,576 個“專家”（48層 × 每層512個）。但每生成一個 token，路由器只會啟動其中大約 10個。也就是說，真正需要計算的權重只佔總量的約2%。
普通推理框架要麼把整個模型塞進視訊記憶體（需要上百GB），要麼簡單解除安裝到記憶體/SSD（速度崩盤）。Strata 選擇了第三條路：把整個PC當成一個分工明確的廚房——常用的東西放在檯面（視訊記憶體），次常用的放在冰箱（記憶體），偶爾用的放在儲藏室（SSD），並且讓灶台（GPU）和案板（CPU）同時幹活，互不等待。
核心榨乾法：三層記憶體 + 平行計算 + 智能快取
1. 視訊記憶體（GPU VRAM）——最貴的“檯面”
只放每個token都要用的核心部件：注意力與DeltaNet混合器、路由器、共享專家、輸出頭、MTP草稿層、KV快取的熱門部分。
剩下所有空間全部做成自適應專家快取。
12GB顯示卡大約能放下4000–4500個最常用的專家。每多1GB視訊記憶體，大約多塞700個專家。快取會在對話過程中持續學習：每幾輪就把當前對話真正高頻使用、卻不在快取裡的專家換進來（一次最多換幾十到上百個），同時把最冷的踢出去。換的動作儘量在GPU忙著做其他事時非同步完成。
2. 記憶體（RAM）——所有專家的“冰箱”
全部24,576個專家都常駐記憶體（pinned，避免被系統換出）。
當某個專家不在視訊記憶體快取裡時，CPU直接在原地進行計算（用AVX-512 / AVX2高度最佳化的核心），並且和GPU同時工作。GPU算快取命中的專家，CPU算沒命中的，兩邊結果再合併。
這樣CPU和GPU幾乎不互相等待，把本來最昂貴的“專家計算瓶頸”大幅壓縮。
3. SSD——大尋找表的“儲藏室”
模型還有一張約28.8GB的n-gram尋找表。每個token只需要讀幾行（最多約23KB），通過作業系統快取快速獲取，幾乎不拖後腿。
低記憶體模式：如果記憶體不夠放下全部專家，Strata會自動切換策略——只把顯示卡裝不下的部分放進記憶體，其餘直接從模型檔案流式讀取，並做預取。雖然會變慢，但至少能跑起來。
速度倍增器：猜測-驗證 + 大塊讀取 + 流水線
- MTP投機解碼（Guess then Check）
模型自帶的小草稿層先快速猜測接下來的2–3個token，大模型一次過完整48層去驗證。平均一次能產出2.4–3.2個有效token，整體速度提升約1.6–1.8倍。質量完全由大模型決定，答案一致性有保障。
- 長文字大塊預填充
提示詞按最高8192 token一塊處理。當前層的注意力在跑的同時，下一層需要的專家已經通過PCIe提前流到GPU。長文件或程式碼庫的讀取速度輕鬆超過1000 tokens/s。
- 後續對話秒級響應
第一輪消息處理完後，對話狀態被快取。後續只計算新增部分，幾乎瞬間開始生成。
再加上針對不同硬體的定製核心（融合int8 tensor-core、RDNA4矩陣核心、Intel Arc最佳化、多卡流水線、自適應PCIe份額等），每一次版本更新都在持續摳出5%–38%不等的實際加速。
支援的模型與版本（截至最新）
主力：Qwen3.8-Flash-Next（125B MoE）
Q2_0（最快）、IQ2_XS（推薦平衡）、IQ3_XXS / IQ3_S（更高品質）、Coder（程式設計專用，32GB記憶體可跑）、Swift 1.5（思考更短的微調版）、Unsloth高精系列（UD-IQ4_XS到Q8_0）、NVFP4（NVIDIA專用）。
新增：Qwen3.6-35B-A3B
更適合小記憶體、iGPU或需要“快速小工人”的場景。
安裝程序會根據你的記憶體自動推薦最合適的版本。
寫在最後
Strata最讓人震撼的地方，不是“能跑”，而是它把普通硬體的每一層資源都用到了極致：視訊記憶體放最熱的專家，記憶體做完整專家池並讓CPU平行計算，SSD只承擔輕量尋找，再疊加投機解碼和流水線預取。
一個人，用開放原始碼的方式，把原本屬於資料中心的能力，硬生生塞進了遊戲本。
如果你有一張還算新的遊戲顯示卡和足夠記憶體，真的值得親自試一次。打開瀏覽器訪問本地8080連接埠，看著125B模型在自己機器上流暢回答的那一刻，會有一種很特別的感覺——未來已經在自己電腦裡，被徹底榨乾性能地跑起來了。(AI頓悟湧現時)