DeepSeek V4は100万トークンのデータに対してKVキャッシュの使用量を90%削減するが、積極的な圧縮は「干し草の山から針を探す」ような問題を引き起こす可能性がある。

中国を代表する人工知能研究所であるDeepSeekは、トークン推論に必要な計算リソースを大幅に削減した最新モデルV4を発表しました。リリースノートによると、この新モデルは、前モデルのDeepSeek V3.2に比べて、単一トークン推論に必要なFLOPsがわずか27%、キーバリュー（KV）キャッシュが10%で動作します。この革新的な開発により、メモリ消費量が削減されるだけでなく、開発者がモデルを構築する際に利用できるコンテキスト容量も大幅に向上します。

DeepSeek V4：パフォーマンスとキャッシュ効率の向上

V4モデルにおいて、DeepSeekは、100万トークンのコンテキストウィンドウを処理しながら、単一トークン推論FLOPsのわずか27%とKVキャッシュのわずか10%のみで動作させることに成功し、その能力を実証しました。コンテキストウィンドウとは、大規模な言語モデルがメモリリソースを解放する必要が生じる前に処理できるテキストの量を表します。

この洗練されたメモリ利用は、AI演算のデコードフェーズにおいて特に重要です。デコードフェーズは通常、プリフィルとデコードの2つの段階に分けられます。デコードフェーズでは、AIは出力を生成すると同時に、プリフィル段階で確立された会話コンテキストを維持します。そのため、デコードフェーズでは、特にキーバリューキャッシュに関して、より多くのメモリ使用量が必要となります。

トランスフォーマーモデルのプロセスを図解したフローチャート。「キャッシュ削除」、「キャッシュヒット」、「キャッシュミス」などのラベル付き要素が含まれています。 — NVIDIAが提供する、KVキャッシュの動作を示す図。画像：NVFP4 KVキャッシュを使用した、長いコンテキストと大きなバッチサイズに対する推論の最適化。

これまでのイノベーションを基盤とした、DeepSeekモデルの強化された機能

コンテキスト長が長くなるにつれて、KVキャッシュへの負荷も増大します。100万トークンの時点で、キャッシュ使用量を最小限に抑えたモデルは、全体として必要なメモリ量を減らしながら、より多くのリクエストを処理できます。ただし、DeepSeekがV4モデルで単一推論トークンFLOPsが27%向上したと主張しているのは、計算を円滑に行うための十分なGPUメモリが利用可能であることを前提としています。

さらに、キャッシュメモリの大幅な減少はトレードオフを必要とします。これは、「干し草の山から針を探す」ような失敗につながる可能性があり、モデルが重要な詳細を見落とし、結果として出力の精度が低下する可能性があります。この課題は、メモリ効率と高精度な出力の必要性とのバランスを取ることの重要性を浮き彫りにしています。

DeepSeekのV4モデルにおける最新の機能強化は、以前のバージョンで導入されたマルチヘッド潜在アテンションアーキテクチャに基づいています。この設計は、モデルのキーと値を統一された構造に圧縮し、計算時に展開することでメモリ制限に戦略的に対応し、効率的なリソース利用を可能にします。

出典と画像