🔥最近，開源本地推理引擎 Strata 在AI圈引起轟動！不僅能把大模型一鍵部署在輝達、AMD、intel、蘋果等各種硬體上，更關鍵的是，動輒跑出數百tok/s！實現了實用性。而不是數s/tok那種笑話。

本地AI終於能跟雲端AI API服務掰手腕了！

與以往的技術相比，Strata是如何穩定實現數百倍本地AI性能提升的？

關鍵就是Strata並沒有去做一個通用AI引擎，而是從一開始就是專為 Qwen3.8-Flash-Next（125B 參數的超大規模 MoE 模型，實際每token只啟動約6B參數）開發能在消費級顯示卡（12GB+ VRAM）+普通記憶體（32–64GB）上高速本地運行而專門開發的。

更刺激的是，其開發者Niko Veit（X帳號 @coldniko）的更新速度，幾乎每天一個新版本，每天睜開眼性能都提升10%。最新正式推送了開源本地推理引擎 Strata v0.1.44。這個項目從最初只是他自己用來跑模型的工具，到現在已經成了本地大模型社區裡熱捧的當紅炸子雞。

Strata 主打什麼？ 
讓普通消費級硬體也能高效跑大模型。它深度最佳化了 NVIDIA、AMD、Intel 多平台GPU，支援多卡、低記憶體、舊顯示卡（甚至Pascal時代的P100、V100），還能把廉價的DDR3機器+小顯示卡組合玩出花來。很多人用它跑 Qwen3.8-Flash-Next 這類模型，輕鬆上百 tokens/s，團隊部署也能當本地“Codex後端”用。

這位叫 Niko Veit 的斯洛維尼亞天才開發者，幾乎以日更甚至半天一更的節奏，持續打磨一款名為 Strata的本地推理引擎。它的目標簡單到近乎瘋狂：讓普通遊戲電腦，跑起原本需要伺服器叢集的 Qwen3.8-Flash-Next（約125B參數 MoE 大模型）。

一張 12–24GB 的 NVIDIA 或 AMD 顯示卡，加上 32–64GB 系統記憶體，Windows 或 Linux 一鍵安裝，就能在本地獲得 60–95 tokens/s 的輸出速度，支援超長上下文，提供 OpenAI / Anthropic 相容 API，資料完全不出本機。

到 2026年10月中旬（v0.1.44 系列），它已經支援 Apple Silicon、新增 Qwen3.6-35B-A3B，並持續把性能往上推。社區已經開始調侃：“下載最新版的時候小心點，Niko 可能在你下載完成前又發了新版本。”

這不是普通的開放原始碼專案，而是一個人用極致工程，把大模型推理門檻徹底拉低的現實樣本。更關鍵的是——它到底是怎麼把普通硬體的性能“榨乾”的？

Strata 是專為 Qwen3.8-Flash-Next這類超大規模 MoE（Mixture-of-Experts）模型最佳化的推理引擎。

這個模型一共有 24,576 個“專家”（48層 × 每層512個）。但每生成一個 token，路由器只會啟動其中大約 10個。也就是說，真正需要計算的權重只佔總量的約2%。

普通推理框架要麼把整個模型塞進視訊記憶體（需要上百GB），要麼簡單解除安裝到記憶體/SSD（速度崩盤）。Strata 選擇了第三條路：把整個PC當成一個分工明確的廚房——常用的東西放在檯面（視訊記憶體），次常用的放在冰箱（記憶體），偶爾用的放在儲藏室（SSD），並且讓灶台（GPU）和案板（CPU）同時幹活，互不等待。

核心榨乾法：三層記憶體 + 平行計算 + 智能快取

1. 視訊記憶體（GPU VRAM）——最貴的“檯面”
只放每個token都要用的核心部件：注意力與DeltaNet混合器、路由器、共享專家、輸出頭、MTP草稿層、KV快取的熱門部分。 
剩下所有空間全部做成自適應專家快取。 
12GB顯示卡大約能放下4000–4500個最常用的專家。每多1GB視訊記憶體，大約多塞700個專家。快取會在對話過程中持續學習：每幾輪就把當前對話真正高頻使用、卻不在快取裡的專家換進來（一次最多換幾十到上百個），同時把最冷的踢出去。換的動作儘量在GPU忙著做其他事時非同步完成。

2. 記憶體（RAM）——所有專家的“冰箱”
全部24,576個專家都常駐記憶體（pinned，避免被系統換出）。 
當某個專家不在視訊記憶體快取裡時，CPU直接在原地進行計算（用AVX-512 / AVX2高度最佳化的核心），並且和GPU同時工作。GPU算快取命中的專家，CPU算沒命中的，兩邊結果再合併。 
這樣CPU和GPU幾乎不互相等待，把本來最昂貴的“專家計算瓶頸”大幅壓縮。

3. SSD——大尋找表的“儲藏室”
模型還有一張約28.8GB的n-gram尋找表。每個token只需要讀幾行（最多約23KB），通過作業系統快取快速獲取，幾乎不拖後腿。

低記憶體模式：如果記憶體不夠放下全部專家，Strata會自動切換策略——只把顯示卡裝不下的部分放進記憶體，其餘直接從模型檔案流式讀取，並做預取。雖然會變慢，但至少能跑起來。

速度倍增器：猜測-驗證 + 大塊讀取 + 流水線

模型自帶的小草稿層先快速猜測接下來的2–3個token，大模型一次過完整48層去驗證。平均一次能產出2.4–3.2個有效token，整體速度提升約1.6–1.8倍。質量完全由大模型決定，答案一致性有保障。

提示詞按最高8192 token一塊處理。當前層的注意力在跑的同時，下一層需要的專家已經通過PCIe提前流到GPU。長文件或程式碼庫的讀取速度輕鬆超過1000 tokens/s。

第一輪消息處理完後，對話狀態被快取。後續只計算新增部分，幾乎瞬間開始生成。

再加上針對不同硬體的定製核心（融合int8 tensor-core、RDNA4矩陣核心、Intel Arc最佳化、多卡流水線、自適應PCIe份額等），每一次版本更新都在持續摳出5%–38%不等的實際加速。

支援的模型與版本（截至最新）

主力：Qwen3.8-Flash-Next（125B MoE）
Q2_0（最快）、IQ2_XS（推薦平衡）、IQ3_XXS / IQ3_S（更高品質）、Coder（程式設計專用，32GB記憶體可跑）、Swift 1.5（思考更短的微調版）、Unsloth高精系列（UD-IQ4_XS到Q8_0）、NVFP4（NVIDIA專用）。

新增：Qwen3.6-35B-A3B
更適合小記憶體、iGPU或需要“快速小工人”的場景。

安裝程序會根據你的記憶體自動推薦最合適的版本。

Strata最讓人震撼的地方，不是“能跑”，而是它把普通硬體的每一層資源都用到了極致：視訊記憶體放最熱的專家，記憶體做完整專家池並讓CPU平行計算，SSD只承擔輕量尋找，再疊加投機解碼和流水線預取。

一個人，用開放原始碼的方式，把原本屬於資料中心的能力，硬生生塞進了遊戲本。

如果你有一張還算新的遊戲顯示卡和足夠記憶體，真的值得親自試一次。打開瀏覽器訪問本地8080連接埠，看著125B模型在自己機器上流暢回答的那一刻，會有一種很特別的感覺——未來已經在自己電腦裡，被徹底榨乾性能地跑起來了。(AI頓悟湧現時)

彙整鉅亨號中所有使用「Strata」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

我不允許還有人不知道Strata！本地AI時代正式開啟！讓丐版Mac mini性能日增10%