登入
關鍵字
#token
官方認證
北風窗
9小時
•
一個最佳化讓token速度暴漲465%,RTX 3090單卡運行千問3.8 27B可達382 Tok/s
是不是3090二手要漲價? 在本地運行大語言模型時,顯示卡的算力往往不是第一瓶頸,視訊記憶體頻寬才是。NVIDIA RTX 3090雖然擁有24GB視訊記憶體和936.2GB/s的頻寬,但在運行270億參數等級的模型時,傳統的逐Token生成方式依然會受限於反覆讀取模型權重的過程,導致顯示卡的計算單元大量閒置。 近日,Reddit使用者u/iamMess通過一套專門建構的推理引擎,在不更換任何硬體的前提下,將Qwen3.8-27B模型在單張RTX 3090上的Token生成速度從82 tok/s提升到了382 tok/s,增幅達到4.6倍。 這是一個極快的速度,目前主流雲端大模型(如ChatGPT)的生成速度通常在30到60 tok/s左右。382 tok/s意味著它一秒鐘就能“寫”出大概250到300個漢字,一分鐘能生成近兩萬字。
科技
#大語言模型
#推理最佳化
#投機解碼
27人
讚
留言
分享
官方認證
RexAA
2026/10/15
•
一顆DRAM的話語權遷移史:2000年PC佔65%,2030年誰排在隊首
2026年9月30日,TrendForce給出四季度判斷:一般型DRAM合約價環比漲10~15%,計入HBM後的整體DRAM漲15~20%,NAND也漲15~20%。漲幅在放緩,但這不是好消息。放緩的是價格斜率,換手的是分配權。記憶體行業正在把"誰付得起"改寫成"誰配拿到"。 聚焦 🔍 這篇只做一件事:把一張2000到2030年的DRAM應用演化示意圖,對照2026年的真實價格走勢,拆出"需求重心遷移"的機制。圖裡的佔比和路徑是建模假設,不是統計年報,當方向看,別當帳本看。 2000年的帳本:PC一家獨大
科技
#DRAM
#HBM
#token
146人
讚
留言
分享
官方認證
RexAA
2026/10/14
•
中美AI對比:中國Token消耗第一是做短劇,美國消耗最多是寫程式碼
中文線上公佈過一組資料,美國約58%的Token算力花在程式碼生成和企業自動化流程上,中國55%的Token投向AI微短劇和短影片生成,24%給了電商帶貨和行銷圖文,真正用在軟體開發上的只有15%。 這個對比足夠刺眼了。一方面是AI寫程式碼,另外的一個方面則是AI在進行短劇的製作。中國算力消耗看起來有些不務正業,但是如果往下去看的話,就能夠發現到,兩邊都精確踩在各自市場的錢脈上。 一、中國Token流向:短劇裡的經濟帳 先來看看中國這一側的情況。2026年前八個月,國內生產約43萬部微短劇,這個數字是前一年全年產量的13倍之多,並且超過九成的劇集裡都有AI的參與。中國的網民數量已經突破了11億的大關,其中約8億人是短影片和微短劇重度使用者。在2024年的時候微短劇市場的規模大約處在500億元的量級,在後續是有望去衝擊千億規模的。
科技
#中國
#Token
#短劇
220人
1 則留言
讚
留言
分享
YI Yang
ai短劇真讓人上癮
2026/10/15
讚
回覆
官方認證
小星星
2026/10/13
•
AI短劇月入十萬?普通人別再被割韭菜了
最近你的資訊流裡是不是也充斥著這樣的內容:AI短劇月入十萬,普通人最後的翻身窗口,錯過再等十年。 如果你現如今正在認真地考慮這一件事情,我想先說結論,你要是信了,你就是被收割的韭菜。說這話前,我先交代下背景,我做全職居家AIGC之前,在世界五百強企業做授權產品經理。 今天我並不會賣課,也不打算教你怎麼去實現一夜暴富的夢想,我只會把AI短劇裡沒人願徹底說透的東西,給攤開來講個清楚。我先說結論,那就是AI短劇能夠賺到錢,這是成立的。但普通人靠個人做AI短劇暴富,這不成立。我會從製作難度、成本、管道、成功機率四個維度拆開講。 01 製作難度:一個人拼不過一條流水線
影視
#AI短劇
#創業陷阱
#Token成本
214人
讚
留言
分享
官方認證
RexAA
2026/10/12
•
2026年詞元經濟(Token Economy)產業鏈發展全景研究報告
一、中國詞元(Token)經濟產業鏈圖譜 圖:艾媒諮詢 中國詞元經濟產業鏈全景分析報告 2026全球詞元(Token)經濟產業鏈圖譜(圖:至頂科技 2026全球人工智慧展望報告) 二、中國信通院:詞元(Token)經濟發展研究報告(2026年)
科技
#2026年
#Token Economy
#AI產業鏈
215人
讚
留言
分享
官方認證
北風窗
2026/10/12
•
清華AI Infra獨角獸融資雙料第一,無問芯穹秘密遞表港交所
清華AI Infra獨角獸融資雙料第一,無問芯穹秘密遞表港交所 無問芯穹聯合創始人、CEO夏立雪 就在剛剛,AMD蘇媽關注的一家AI原生基礎設施明星獨角獸完成融資並即將IPO了。 10月12日消息,據智能紀元AGI獲悉,無問芯穹(Infinigence AI)近期完成C輪融資,累計融資約43億元,單輪和累計融資額創下行業紀錄。
港股
#無問芯穹
#Infinigence AI
#獨角獸
244人
讚
留言
分享
官方認證
RexAA
2026/10/07
•
存力接棒算力—AI智能體把記憶體推上主戰場
KV Cache從"臨時變數"變成"持久資產"——記憶體容量和訪問速度,正在直接決定智能體的記憶能力。 開篇:那個越寫越厚的"草稿本" 一個AI智能體正在處理百萬級token的對話歷史。它要反覆回放上下文、呼叫工具、多步推理——每走一步,都要把已經"記住"的內容再讀一遍。 這個"記住"的載體,叫KV Cache。它像一個越寫越厚的草稿本:對話越長,草稿越厚,轉眼就佔滿了昂貴稀缺的GPU視訊記憶體。據中信證券測算,上下文從8K激增到1M tokens時,單使用者FP16精度下的KV Cache視訊記憶體佔用會從約5GB飆升至640GB以上——而一張頂級GPU的HBM視訊記憶體,不過百GB量級。
科技
#AI智能體
#token
#KV Cache
224人
讚
留言
分享
官方認證
RexAA
2026/10/07
•
Token一年半70倍,一文看懂字節的算力遷徙
2025 年 1 月,字節跳動的日均 token 消耗量還是 4 到 5 兆。 一年之後,這個數字變成了 50 兆。再到 2026 年 9 月,它已經飆升到 350 兆到 360 兆——一年半,漲了七十多倍。按照專家的預計,到 2026 年底這個數字將逼近 600 兆,而到 2027 年,整個大盤的 token 消耗量還會在現有基礎上再增長十倍。 這不是一組枯燥的數字。它的背後,是一場正在重寫中國 IDC 版圖的算力遷徙:機房正在離開一線城市,湧向內蒙古的草原;企業正在告別私有化機房,擁抱公有雲。而驅動這一切的力量,比大多數人想像的要更兇猛,也更具體。 三個核心判斷,先放在前面
科技
#算力遷徙
#Token消耗量
#IDC版圖
224人
讚
留言
分享