RTX 4090

概要

RTX 4090は、NVIDIAが2022年10月に発売した、Ada Lovelaceアーキテクチャ採用のコンシューマー向けフラッグシップGPUです。ローカルLLM（大規模言語モデル）を自宅PCやワークステーションで動かす用途において、2025年〜2026年現在もなお「VRAM容量と価格のバランス」「対応ツールの豊富さ」の両面で現実的な選択肢とされています。

本来はゲーミングやレイトレーシング、動画編集・3DCG制作向けに設計された製品ですが、24GBという大容量のGDDR6X VRAMと、第4世代Tensor CoresによるFP8/INT8演算の高速化を備えているため、データセンター向けGPU（NVIDIA A100やH100など）を導入するほどの予算がない個人開発者やスタートアップにとって、「事実上のAI推論用GPU」として使われているのが実情です。

ローカルLLMの文脈でこのカードを評価するときは、単純なベンチマークスコアよりも「量子化したモデルが24GBのVRAMにどこまで収まるか」「Ollama・LM Studio・llama.cppといった実行環境がこのカードの性能をどれだけ引き出せるか」という実務的な観点が重要になります。本稿ではその視点を中心に解説します。

主要スペック

特に注意しておきたいのがNVLink非対応という点です。前世代のRTX 3090はNVLinkブリッジによるメモリプーリングに対応していましたが、RTX 4090ではこの機能が廃止されています。そのため「RTX 4090を2枚挿してVRAMを合算し48GBとして扱う」という使い方はできません。複数枚構成にしても各GPUのVRAMは独立した24GBのままで、推論フレームワーク側（vLLMやTensor RT-LLMなどのテンソル並列機能）でモデルを分割配置する形になります。

仕組み：VRAM・量子化・推論速度の関係

VRAM容量とモデルサイズの対応目安

ローカルLLMを動かす際にまず確認すべきなのが、モデルのパラメータ数と量子化ビット幅から必要VRAM量を見積もることです。おおまかな目安としては「パラメータ数（B）× ビット幅（bit）÷ 8 ＋ KVキャッシュ分」で計算でき、次のような対応関係になります（コンテキスト長やバッチサイズにより変動する概算値です）。

実運用では、この表の数値に加えて「コンテキスト長に比例して増えるKVキャッシュ」を考慮する必要があります。同じ7Bモデルでもコンテキストを4Kから32Kに伸ばせば、その分だけVRAM使用量が積み増しされるため、長文要約やRAG用途では見積もりに余裕を持たせるのが実務上の定石です。

量子化（GGUF・4bitなど）との関係

ローカルLLMで最も普及している量子化形式はGGUF（llama.cpp系エコシステムで使われるフォーマット）です。GGUFにはQ4_K_M・Q5_K_M・Q6_K・Q8_0など複数のビット幅・量子化手法のバリエーションがあり、一般に「ビット幅が小さいほどVRAM消費と処理速度は有利になるが、出力品質（パープレキシティ）はわずかに劣化する」というトレードオフがあります。実務では、体感品質と速度のバランスが良いとされるQ4_K_MやQ5_K_Mあたりを起点に、必要に応じてビット幅を上下させて調整するのが定石です。

GGUF以外にも、GPTQ・AWQ・EXL2といった量子化形式があり、これらはExLlamaV2やvLLM、text-generation-webuiなどのローダーで利用されます。RTX 4090はINT4/INT8演算に強いTensor Coresを搭載しているため、AWQやGPTQのような整数量子化との相性が良く、複数リクエストを同時処理するサーバー用途（vLLMの連続バッチング機能など）でも実用的な速度を確保しやすい点が特徴です。

推論速度（tokens/秒）の目安

推論速度はモデルサイズ・量子化形式・コンテキスト長・使用フレームワークによって変動するため、あくまで目安ですが、GGUF（llama.cpp系）でのおおよその傾向は以下の通りです。

• 7B〜8B（Q4_K_M）: 目安として80〜100 tokens/秒程度
• 13B〜14B（Q4_K_M）: 目安として50〜70 tokens/秒程度
• 30B〜34B（Q4_K_M）: 目安として20〜35 tokens/秒程度
• 70B（Q4、一部CPUオフロード時）: 目安として一桁〜十数tokens/秒程度まで落ち込むことがある

数値はあくまで一例で、プロンプト長（プロンプト処理＝プリフィル）が長いほど初回応答までの時間は延びます。また同じ「30Bモデル」でも、Mixtral系のようなMoE（Mixture of Experts）構造かどうかで実効速度は大きく変わるため、パラメータ数だけで速度を単純比較しない方がよい、という点も実務上押さえておきたいところです。

Ollama・LM Studio・llama.cppの対応状況

llama.cppはCUDAバックエンド（cuBLAS）を通じてRTX 4090のTensor Coresを活用でき、--n-gpu-layersオプションでモデルのどこまでの層をVRAMにオフロードするかを細かく制御できます。VRAMに収まりきらない大きなモデルでも、一部レイヤーをCPU側（システムRAM）に置く部分オフロードにより動作させることが可能です。

Ollamaは内部的にllama.cppをベースにしており、GGUFモデルをコマンド一つでダウンロード・実行できる手軽さが特徴です。RTX 4090のようなCUDA対応GPUは基本的に自動検出され、追加設定なしでGPUオフロードが有効になります。LM StudioもGUIフロントエンドとして同様にllama.cpp系バックエンドを利用しており、GGUFモデルのブラウジング・ダウンロード・チャットUIを一体化している点が違いです。

より高いスループットを求める場合は、vLLMやTensorRT-LLMのような推論サーバー向けフレームワークも選択肢になります。これらはAWQ/GPTQ量子化と連続バッチング（複数リクエストの同時処理）に対応しており、個人のチャット用途を超えて、社内向けAPIサーバーとしてRTX 4090を運用したいケースに向いています。

具体例：対応モデルと動作パターン

対応モデル例

• Llama 3.1 8B / Llama 2 13B: FP16でも余裕を持ってロード可能。長めのコンテキストも確保しやすい
• Qwen2.5 32B・Code Llama 34B: Q4量子化での運用が現実的。コンテキストを絞れば快適に動作
• Mixtral 8x7B（MoE）: 総パラメータ数は多いが、推論時に実際に活性化するのは一部のエキスパートのみのため、Q4量子化でRTX 4090でも扱いやすい
• DeepSeek-R1-Distill-Qwen-32B系: 推論特化の蒸留モデルもQ4量子化でVRAM20GB前後に収まる
• Llama 3 70B級: 単体のVRAMには収まらず、CPUオフロードや大幅な圧縮（Q2〜Q3）が前提になる
• LLaVA系マルチモーダルモデル: 画像＋テキストを同時処理するモデルもVRAMに余裕があるため実行しやすい

実務では「量子化前のモデルカードに書かれているパラメータ数」だけでなく、実際にダウンロードするGGUFファイルのサイズ（ファイルサイズ ≒ 必要VRAMの目安）を確認してから導入するのが定石です。Hugging Face上の量子化版モデルページには、各量子化レベルごとのファイルサイズが明記されていることが多く、そこを基準にVRAM収まりを判断できます。

メリット・デメリット

混同されやすい用語・類似技術との違い

RTX 3090との違い

同じ24GB VRAMを搭載するRTX 3090とはVRAM容量の面では並びますが、アーキテクチャはAmpere（RTX 4090はAda Lovelace）で、Tensor Coresは第3世代にとどまりFP8演算に対応していません。一方でRTX 3090はNVLinkに対応しており、2枚構成でメモリプーリングが可能という違いがあります。中古価格はRTX 4090よりも大きく下がっている傾向があり、「VRAM24GBを最優先し、速度は多少妥協してもよい」という場合はRTX 3090が有力な代替候補になります。

RTX 4080との違い

RTX 4080は同じAda Lovelace世代ですが、VRAMが16GBに抑えられています。7B〜13B級モデルの運用では大きな差は出にくいものの、30B級以上を扱おうとするとVRAM不足が顕在化しやすく、ローカルLLM用途では「価格を抑えるならRTX 4080、より大きなモデルまで見据えるならRTX 4090」という住み分けになります。

RTX 5090との違い

後継となるRTX 5090はBlackwellアーキテクチャを採用し、VRAMも32GB級のGDDR7に増強されています。より大きなモデルを量子化なしで扱いたい場合はRTX 5090が有利ですが、価格も相応に上昇しているため、コストパフォーマンスの観点では型落ちとなったRTX 4090（および中古市場）が依然として選択肢に残ります。

データセンター向けGPU（A100・H100・RTX 6000 Adaなど）との違い

NVIDIAのデータセンター向けGPUは、48GB〜80GB以上のVRAM、ECCメモリ、マルチインスタンスGPU（MIG）機能などを備え、複数ユーザーでの共有利用や大規模モデルの本番運用を前提に設計されています。RTX 4090はこうした業務用機能を持たない代わりに、価格がデータセンター向けGPUの数分の一〜十分の一程度に収まる点が最大の違いです。個人開発・検証段階ではRTX 4090で十分なケースが多く、本番の大規模サービング段階になって初めてデータセンター向けGPUへの移行を検討する、という使い分けが現実的です。

Apple M2 Ultra（Mac Studio）との違い

CPUとGPUでメモリを共有するApple M2 UltraのUnified Memoryは最大192GBまで構成でき、VRAM容量の制約なく非常に大きなモデルをまるごとロードできる点が強みです。一方で、RTX 4090のような専用GPUと比べると、演算性能（特にプロンプト処理速度）では劣る傾向が一般に指摘されています。「とにかく大きいモデルをそのまま動かしたい」ならMac Studio系、「量子化を前提に速度も重視したい」ならRTX 4090、という判断軸になります。

AMD Radeon（ROCm）との違い

AMDのRadeon RX 7900 XTXなども24GB VRAMを搭載しモデルサイズの観点では競合しますが、ソフトウェアエコシステムはROCmベースとなり、CUDAほど幅広いツールでの動作実績・最適化が進んでいないのが実情です。llama.cppはVulkanバックエンドやROCm対応ビルドで動作しますが、対応状況や情報量ではCUDA環境が依然として優位にあります。

実務ポイント：推奨構成と運用の注意

システム要件

• CPU: Intel Core i7-12700K以上またはAMD Ryzen 7 5800X以上を目安に
• RAM: 32GB以上（CPUオフロードや大きめのコンテキストを扱うなら64GB以上を推奨）
• 電源: 850W以上、80+ Gold認証以上を推奨
• PCIe: PCIe 4.0 x16スロット
• ケース: 3〜4スロット占有に対応した大型ケース、十分なエアフロー

ソフトウェア環境

• ドライバ: NVIDIA Studio/Game Readyドライバの最新版（CUDA 12系対応）
• 実行環境: WindowsならWSL2上のUbuntuでCUDA開発する構成も一般的。ネイティブLinuxならドライバ・CUDA Toolkitの導入がやや簡潔
• PyTorch: 2.x系（CUDA対応ビルド）
• 量子化・推論ライブラリ: llama.cpp、bitsandbytes、AutoAWQ、ExLlamaV2、vLLMなど用途に応じて選択

運用上の注意

16pin（12VHPWR系）電源コネクタは、奥まで確実に挿し込まないと接触抵抗による発熱・溶融が起きたという報告が過去に複数あったコネクタ形状です。組み込み時はケーブルを根元まで挿し切り、無理な角度で折り曲げないことが実務上の基本になります。また、長時間の推論負荷をかける際はnvidia-smiでVRAM使用率・温度・クロックを定期的に確認し、サーマルスロットリングが起きていないかをチェックするのが定石です。

複数枚のRTX 4090を導入する場合、前述の通りNVLinkによるメモリ合算はできないため、モデル並列（テンソル並列・パイプライン並列）に対応したvLLMやTensorRT-LLMのようなフレームワークを使う前提で構成を検討する必要があります。

2025-2026年の最新動向

RTX 5090の登場によりラインナップ上は旧世代となりましたが、24GB VRAMと成熟したCUDAエコシステムにより、ローカルLLM用途では依然として実用的な選択肢です。中古市場での価格下落により、新品のRTX 5090やデータセンター向けGPUと比較したコストパフォーマンスはむしろ向上している面もあります。

FP8推論の最適化がRTX 4090のTensor Coresを活用する形で進んでおり、TensorRT-LLMなどのフレームワーク経由で、精度をほぼ維持しながら速度を引き上げる取り組みが継続しています。

量子化技術の進化も見逃せません。imatrix（importance matrix）を用いたGGUF量子化により、同じQ4クラスのビット幅でも出力品質の劣化を抑えられるようになってきており、24GBという限られたVRAMの中でより高品質な応答を得られる方向に改善が進んでいます。

推論特化モデルの普及も動向として押さえておきたい点です。DeepSeek-R1系に代表される「思考過程を出力してから回答する」タイプの推論特化モデルは、通常のチャットモデルより出力トークン数が増える傾向があるため、RTX 4090のようなミドル〜ハイエンドGPUでもレイテンシとVRAM双方の見積もりを従来より余裕を持って行う必要が出てきています。

よくある質問（FAQ）

関連用語

外部リンク

• NVIDIA RTX 4090公式ページ
• Ollama公式サイト
• llama.cpp（GitHub）
• LM Studio公式サイト