智東西（公眾號：zhidxcom）
作者 |? 楊京麗
編輯 |? 李水青
智東西4月24日報道，今天，DeepSeek-V4剛開源就迅速登頂了Hugging Face開源模型榜，相關技術報告也大方披露，覆蓋華為昇騰與英偉達芯片適配、模型架構升級、預訓練和后訓練環(huán)節(jié)優(yōu)化等豐富的技術細節(jié)，非常值得仔細品讀。
DeepSeek-V4最顯著的提升，除了在推理、知識、代碼能力上全線抬升，整體表現(xiàn)比肩GPT-5.4、Claude Opus 4.6等頂級閉源模型；還在于該模型首次將“百萬上下文”作為默認能力開放，在此設置下單token推理FLOPs相比DeepSeek-V3.2暴降73%，KV cache僅為其10%，大幅降低使用成本。
基礎設施方面，DeepSeek-V4從訓練到推理的全鏈路，已經(jīng)完整適配了華為昇騰NPU，其自研的細粒度專家并行方案“MegaMoE”，能夠在NVIDIA GPU和華為昇騰NPU上實現(xiàn)1.50-1.73倍的加速。
DeepSeek-V4的訓練過程相比前代模型有一些差異化。預訓練中，DeepSeek-V4引入了“樣本級注意力掩碼”機制，語料總規(guī)模超過32萬億tokens，涵蓋數(shù)學內容、代碼、網(wǎng)頁文本、長文檔等多種高質量類別。后訓練中，DeepSeek-V4則將原先的混合強化學習階段替換為“基于策略的蒸餾”，確保訓練更為可控。
開源地址：
https://huggingface.co/collections/deepseek-ai/deepseek-v4
報告地址：
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
一、基礎設施再創(chuàng)新，全鏈路高效適配華為昇騰
DeepSeek-V4在基礎設施方面提升較為明顯，采用專家混合（MoE）技術，可通過專家并行化（EP）實現(xiàn)加速。
然而，EP需要復雜的節(jié)點間通信機制，并對互連帶寬和延遲提出較高要求。為緩解EP中的通信瓶頸，并在降低互連帶寬需求的同時，提升端到端性能，DeepSeek提出了一種細粒度EP方案“MegaMoE”：將通信與計算功能整合為單一流水線內，實現(xiàn)通信與計算的重疊執(zhí)行。
DeepSeek-V4在英偉達GPU和華為昇騰NPU平臺上驗證了細粒度專家并行（EP）方案。與性能較強的非融合基線相比，該方案在通用推理任務中實現(xiàn)了約1.50-1.73倍的加速，在延遲敏感的場景中最高可達1.96倍。相關CUDA實現(xiàn)已開源，名為MegaMoE2，作為DeepGEMM的一個組件提供。
將專家調度（Dispatch）與Linear-1重疊，將Linear-2與Combine重疊。EP方案通過將專家拆分并按波次調，實現(xiàn)了更細粒度的重疊。
在實際應用中，復雜的模型架構原本會生成數(shù)百個細粒度的Torch ATen運算符。為此，DeepSeek采用TileLang開發(fā)了一組融合內核，用以替代其中絕大多數(shù)運算符，把碎片化的小kernel融成大塊，調用開銷從百微秒壓到1微秒以內，還引入Z3形式化求解器做優(yōu)化驗證。做到比特級可復現(xiàn)，同一token不管在batch哪里都得到同樣結果，同一模型每次運行完全一致，這對大模型調試是保命設計。
DeepSeek將FP4（MXFP4）量化應用于兩個關鍵部分：第一是MoE專家權重，這部分是GPU顯存占用的主要來源之一；第二是CSA中索引器的Query-Key（QK）路徑，在該路徑中，QK激活值的緩存、加載以及乘法計算全部在FP4精度下完成，從而在長上下文場景中加速注意力分數(shù)的計算。
訓練框架建立在為DeepSeek-V3開發(fā)的可擴展且高效的基礎設施之上。在訓練DeepSeek-V4時，DeepSeek繼承了這一基礎，同時引入了多項關鍵創(chuàng)新，適配其新的架構組件——包括Muon優(yōu)化器、mHC，以及混合注意力機制，并在此過程中保持高效的訓練效率與穩(wěn)定性。
二、架構升級，突破長文本計算效率瓶頸
推理模型興起后，業(yè)內建立了一種新的“測試時擴展”范式，顯著推動了大型語言模型的性能提升。然而，這種擴展范式從根本上受限于傳統(tǒng)注意力機制，難以處理超長上下文和復雜推理過程。
同時，從復雜智能體工作流到大規(guī)?？缥臋n分析，長時序任務的出現(xiàn)，也使得高效支持超長上下文成為未來發(fā)展的關鍵需求。盡管近年來一些開源工作（如DeepSeek、MiniMax、Qwen等）已經(jīng)推動了模型能力的整體提升，但在處理超長序列方面的核心架構低效問題仍然存在。
DeepSeek-V4為解決這個瓶頸，它通過一系列架構創(chuàng)新，讓模型在處理超長上下文時的計算效率大幅提升，從而真正把上下文長度推進到“百萬token”這個量級。
總體而言，DeepSeek-V4系列沿用了Transformer架構和多Token預測模塊，并在DeepSeek-V3基礎上引入了項關鍵改進：
（1）采用混合注意力架構，將壓縮稀疏注意力（CSA）與高壓縮注意力（HCA）結合，以提升長上下文處理效率；
（2）引入流形約束超連接（mHC），增強傳統(tǒng)殘差連接；
（3）使用Muon優(yōu)化器，實現(xiàn)更快的收斂速度和更高的訓練穩(wěn)定性。
具體做法上，DeepSeek-V4保留了MoE結構和多token預測策略，重點改造了注意力機制：提出一種“混合注意力”，即把兩種不同的壓縮方式結合起來，一種是先壓縮再做稀疏注意力，另一種是更激進地壓縮但仍保持稠密計算，這樣在保證信息利用的同時大幅減少計算和存儲開銷。此外，它還改進了殘差連接，增強模型表達能力，并引入新的優(yōu)化器Muon，讓訓練更快更穩(wěn)定。
除了模型結構本身，DeepSeek對整個訓練和推理系統(tǒng)做了大量工程優(yōu)化，比如把MoE的計算、通信和內存訪問融合在一起執(zhí)行，用專門的語言優(yōu)化內核，實現(xiàn)可復現(xiàn)的計算過程，以及通過低精度（FP4）來減少資源消耗。在推理階段，還設計了更復雜的KV cache存儲方式，甚至可以部分放到磁盤上，從而支持極長上下文而不爆內存。
三、預訓練：基礎模型提升明顯，F(xiàn)lash模型就已超V3.2
預訓練過程主要基于DeepSeek-V3的數(shù)據(jù)，同時為構建一個更多樣化、高質量且有效上下文更長的訓練語料庫，DeepSeek持續(xù)優(yōu)化數(shù)據(jù)構建流程。與DeepSeek-V3不同的是，V4在預訓練過程中引入了“樣本級注意力掩碼”（sample-level attention masking）機制。
對于來自網(wǎng)頁的數(shù)據(jù)，DeepSeek-V4采用過濾策略，去除批量自動生成和模板化內容，從而降低模型崩潰的風險。數(shù)學和編程語料仍然是訓練數(shù)據(jù)的核心組成部分，同時DeepSeek在中期訓練階段引入了智能體數(shù)據(jù)，進一步提升DeepSeek-V4系列的代碼能力。
在多語言數(shù)據(jù)方面，DeepSeek-V4構建了更大規(guī)模的語料庫，從而增強模型對不同文化中“長尾知識”的理解能力。此外，DeepSeek-V4特別強調長文檔數(shù)據(jù)的構建，優(yōu)先收集科學論文、技術報告等材料。
綜合上述各類數(shù)據(jù)，預訓練語料總規(guī)模超過32萬億tokens，涵蓋數(shù)學內容、代碼、網(wǎng)頁文本、長文檔等多種高質量類別。
對于基礎模型的評估，DeepSeek-V4覆蓋四個關鍵維度的基準測試，包括世界知識、語言理解與推理、代碼與數(shù)學，以及長上下文處理。
DeepSeek-V3.2、DeepSeek-V4-Flash和DeepSeek-V4-Pro的基礎模型在統(tǒng)一的內部框架下進行了評測，獲得以下結果。
盡管DeepSeek-V4-Flash-Base的激活參數(shù)量和總參數(shù)量都明顯更小，但它在大量基準測試中超過了DeepSeek-V3.2-Base，該優(yōu)勢在世界知識任務和長上下文場景中尤其明顯。結果表明，DeepSeek-V4-Flash-Base在更緊湊的參數(shù)預算下，也能取得更強性能，在大多數(shù)評測中有效超過規(guī)模更大的DeepSeek-V3.2-Base。
此外，DeepSeek-V4-Pro-Base能力躍升更為明顯，幾乎全面領先DeepSeek-V3.2-Base和DeepSeek-V4-Flash-Base，在基準測試上刷新了DeepSeek基礎模型的性能上限。它在知識密集型評測和長上下文理解能力取得了顯著提升。在大多數(shù)推理和代碼基準上，DeepSeek-V4-Pro-Base也超過了前兩個模型?？梢哉f，DeepSeek-V4-Pro-Base在知識、推理、代碼和長上下文能力等多個方面全面超越了前代模型。
四、后訓練：基于策略蒸餾，跨輪次保留推理歷史
在完成預訓練之后，DeepSeek還進行了后訓練，最終得到DeepSeek-V4系列模型。雖然整體訓練流程在很大程度上沿用了DeepSeek-V3.2的方案，但在方法上做出了一項關鍵替換：原先的混合強化學習（RL）階段被完全替換為“基于策略的蒸餾”（On-Policy Distillation，OPD）。
具體做法是，先對每個目標領域各自訓練一個獨立的專家模型。每位專家都經(jīng)歷相同的流程：先用高質量領域數(shù)據(jù)做監(jiān)督微調打底，再用GRPO算法做領域強化學習，這一步會得到十多位各有所長的“偏科高手”。
真正的合并動作發(fā)生在第二階段。DeepSeek-V3.2的做法是把各類數(shù)據(jù)混在一起做RL，容易互相影響，而V4則換成讓統(tǒng)一的學生模型自己采樣答題，過程中由這十多位專家老師在完整詞表的logit層面打分對齊，用reverse KL損失把學生拉向老師。這種方式保證模型在每個領域的專長都能被完整保留。另外一個關鍵改動是DeepSeek-V4堅持做全詞表蒸餾，進而梯度更穩(wěn)，訓練曲線更可控，但工程難度更高。
依托DeepSeek-V4系列的一百萬 token上下文窗口，DeepSeek進一步優(yōu)化機制，以最大化智能體環(huán)境中交錯思考的效果。
在工具調用場景中，所有推理內容都會在整個對話過程中被完整保留。不同于DeepSeek-V3.2會在每一輪新用戶輸入到來時丟棄思考軌跡，DeepSeek-V4系列會跨越所有輪次保留完整的推理歷史，讓模型能夠在長周期智能體任務中維持連貫、持續(xù)累積的思考鏈條。
在一般對話場景中，DeepSeek-V4仍然保留原有策略：當新的用戶消息到來時，會丟棄上一輪的推理內容，從而保持上下文簡潔。
與DeepSeek-V3.2一樣，那些通過用戶消息來模擬工具交互的智能體框架（例如 Terminus）可能不會觸發(fā)工具調用上下文路徑，因此也可能無法受益于增強后的推理持久化機制。對于這類架構，DeepSeek仍然建議使用非思考模型。
五、知識、推理、代碼三線抬升，開源模型逼近閉源上限
評測結果上看，DeepSeek-V4-Pro-Max相比其他開源模型也略有領先，部分能力逼近閉源模型。
在知識能力和推理能力上，DeepSeek-V4-Pro-Max相比其他開源模型略有領先，但仍遜于閉源模型Gemini 3.1-Pro。推理能力上，DeepSeek-V4-Pro-Max優(yōu)于GPT-5.2和Gemini-3.0-Pro，落后于GPT-5.4和Gemini-3.1-Pro；DeepSeek-V4-Flash-Max與GPT-5.2和Gemini-3.0-Pro能力近似，在復雜推理任務中展現(xiàn)出很高的性價比。
Agent能力方面，DeepSeek-V4-Pro-Max與Kimi-K2.6和GLM-5.1等領先開源模型表現(xiàn)相當，但略遜于最前沿的閉源模型。長上下文能力方面，DeepSeek-V4-Pro-Max在合成任務和真實應用場景中均表現(xiàn)強勁，在學術基準測試中甚至超過了Gemini-3.1-Pro。
在DeepSeek-V4-Pro與DeepSeek-V4-Flash的對比中，由于參數(shù)規(guī)模較小，DeepSeek-V4-Flash-Max在知識類評測中的表現(xiàn)略低。但在給予更多推理token時，在推理任務中的表現(xiàn)可以接近DeepSeek-V4-Pro-Max。在智能體評測中DeepSeek-V4-Flash-Max在部分基準上可以達到與DeepSeek-V4-Pro-Max相當?shù)乃?，但在更復雜、高難度任務中仍略遜一籌。
結語：高效支持百萬級token上下文，后續(xù)需簡化架構
DeepSeek-V4系列預覽版突破了超長上下文處理中的效率瓶頸，其通過融合CSA與HCA的混合注意力架構，并結合系統(tǒng)級基礎設施優(yōu)化，使模型能夠更高效地支持百萬token級上下文，為測試時擴展、長時序任務和在線學習等方向提供了基礎。
從評測結果看，DeepSeek-V4-Pro-Max在開源模型中表現(xiàn)突出，在知識、推理和智能體任務上均取得較強結果，部分能力接近前沿閉源模型。DeepSeek-V4-Flash-Max則在較低成本下實現(xiàn)了較強推理能力，體現(xiàn)出較高性價比。
不過，DeepSeek-V4的架構也較為復雜，部分穩(wěn)定性方法如Anticipatory Routing和SwiGLU Clamping的機理仍有待進一步理解。后續(xù)工作預計將集中在簡化架構、提升訓練穩(wěn)定性、探索更多稀疏化方向、降低長上下文推理延遲、增強多輪智能體與多模態(tài)能力，以及持續(xù)改進數(shù)據(jù)構建與合成策略等方面。
