RTX 3090

概要

RTX 3090は、NVIDIAが2020年9月に発売した、Ampereアーキテクチャ採用のコンシューマー向けフラッグシップGPUです。24GBのGDDR6X VRAMを搭載しており、この容量は2世代後のRTX 4090・RTX 4080 SUPERと並んでコンシューマー向けGPUの中でも上位に位置します。発売から数年が経過した現在は新品での流通は終了していますが、中古市場で継続的に取引されており、「24GB VRAMをできるだけ低コストで確保したい」というローカルLLMユーザーにとって、2025〜2026年時点でもなお現実的な選択肢であり続けています。

本来はゲーミングや3DCG・映像制作向けに設計された製品ですが、大容量VRAMと当時としては強力な演算性能を備えていたため、発売直後からディープラーニング用途での代用GPUとして注目されてきた経緯があります。ローカルLLMという用途がまだ一般化していなかった2020年発売のカードが、今なお用語集で解説される対象になっているという事実そのものが、「VRAM容量こそが推論性能を左右する」というローカルLLM特有の事情を物語っています。

本稿では、RTX 3090をこれから中古で導入しようとしている個人開発者・エンジニアを想定し、「量子化したモデルがVRAMにどこまで収まるか」「Ollama・LM Studio・llama.cppといった実行環境でどの程度の速度が出るか」「同じ24GBのRTX 4090と比べて何が違うのか」という実務的な観点を中心に解説します。

仕組み：アーキテクチャ・VRAM・量子化・推論速度の関係

主要スペック

後継のRTX 4090との最大の違いの一つがNVLink対応です。RTX 3090は2枚のカードをNVLinkブリッジ（別売）で接続でき、専用アプリケーション上ではメモリプーリングのような扱いが可能でした。ただし、Ollama・LM Studio・llama.cppのような一般的なローカルLLM実行環境は、NVLinkを自動的に使って2枚分のVRAMを「単一の48GBプール」として扱ってくれるわけではない点に注意が必要です。実際にVRAMを跨いでモデルを分割配置するには、vLLMやTensorRT-LLMのようにテンソル並列・パイプライン並列に対応したフレームワーク側の設定が別途必要になります。とはいえ、GPU間の通信帯域が広いNVLink接続は、こうした複数GPU並列推論の速度面で有利に働くとされています。

VRAM容量とモデルサイズの対応目安

ローカルLLMの導入検討でまず押さえておきたいのが、モデルのパラメータ数と量子化ビット幅から必要VRAM量を見積もる考え方です。ざっくりとした目安は「パラメータ数（B）× ビット幅（bit）÷ 8 ＋ KVキャッシュ分」で、RTX 3090の24GBという枠に当てはめると、次のような対応関係になります（コンテキスト長・バッチサイズにより変動する概算値です）。

この表の数値はモデル重みだけの目安であり、実運用ではコンテキスト長に比例して増えるKVキャッシュの分も加味する必要があります。同じ7Bモデルでもコンテキストを4Kから32Kまで伸ばせば、その分だけVRAM使用量が積み上がるため、長文要約やRAG（検索拡張生成）用途では見積もりに余裕を持たせておくのが実務上の定石です。

量子化（GGUF・4bitなど）との関係

ローカルLLMで最も普及している量子化形式はGGUF（llama.cpp系エコシステムで使われるフォーマット）です。GGUFにはQ4_K_M・Q5_K_M・Q6_K・Q8_0など複数のビット幅・量子化手法のバリエーションがあり、一般に「ビット幅が小さいほどVRAM消費と処理速度は有利になるが、出力品質（パープレキシティ）はわずかに劣化する」というトレードオフがあります。RTX 3090で運用する場合も、体感品質と速度のバランスが良いとされるQ4_K_Mを起点に、VRAMに余裕があればQ5_K_MやQ6_Kへ、逼迫していればQ3_K_MやIQ系の低ビット量子化へ調整するのが定石です。

GGUF以外にもGPTQ・AWQ・EXL2といった量子化形式があり、これらはExLlamaV2やvLLM、text-generation-webuiなどのローダーで利用されます。ただしRTX 3090の第3世代Tensor CoresはFP8演算に非対応で、INT8/INT4の整数演算がAda Lovelace世代（RTX 4090）ほど最適化されていないため、AWQ・GPTQのような整数量子化での高速化幅はRTX 4090ほど大きくは出にくい傾向があります。この点は、量子化フォーマットを選ぶ際にRTX 3090ユーザーが押さえておきたい実務上のポイントです。

推論速度（tokens/秒）の目安

推論速度はモデルサイズ・量子化形式・コンテキスト長・使用フレームワークによって変動するため、あくまで目安ですが、GGUF（llama.cpp系、Q4_K_M相当）でのRTX 3090におけるおおよその傾向は以下の通りです。

• 7B〜8B: 目安として45〜60 tokens/秒程度
• 13B〜14B: 目安として25〜35 tokens/秒程度
• 30B〜34B: 目安として15〜25 tokens/秒程度
• 70B（4bit、一部CPUオフロード時）: 目安として8〜15 tokens/秒程度まで落ち込むことがある

同世代のTensor Coresを持つRTX 3090とRTX 4090を比べると、CUDA Cores数・メモリ帯域幅・第4世代Tensor CoresによるFP8対応などの差により、同じ量子化条件でもRTX 4090の方が一般に1.5〜2倍程度高速とされています。VRAM容量そのものは同じ24GBのため「収まるモデルサイズ」に差はありませんが、「同じモデルをどれだけ快適に動かせるか」という体感速度の面ではRTX 4090に軍配が上がる、という整理をしておくと選定時に迷いにくくなります。

Ollama・LM Studio・llama.cppの対応状況

llama.cppはCUDAバックエンド（cuBLAS）を通じてAmpere世代のRTX 3090を問題なく認識・活用でき、--n-gpu-layers（Ollamaでは内部的に自動設定、LM StudioではGPU Offloadスライダー）でモデルのどこまでの層をVRAMにオフロードするかを制御できます。VRAMに収まりきらない大きなモデルでも、一部レイヤーをシステムRAM側に置く部分オフロードで動作させることが可能です。

Ollamaは内部的にllama.cppをベースにしており、GGUFモデルをコマンド一つでダウンロード・実行できます。RTX 3090のようなCUDA対応GPUは基本的に自動検出され、追加設定なしでGPUオフロードが有効になります。LM StudioもGUIフロントエンドとして同様にllama.cpp系バックエンドを利用しており、GGUFモデルのブラウジング・ダウンロード・チャットUIを一体化している点が違いです。いずれのツールも発売から数年が経過したAmpere世代を前提に最適化が続けられており、対応状況において「型落ちだから動かない」といった問題は基本的にありません。

具体例・ユースケース

Ollamaでの実行例

Ollamaをインストール済みであれば、以下のようにモデル名を指定するだけでGGUF形式のモデルをダウンロードし、RTX 3090上でGPU推論を開始できます。

# 7B級モデル（軽量・高速）
ollama run llama3.1:8b

# 13B級モデル
ollama run qwen2.5:14b-instruct-q4_K_M

# 30B級モデル（4bit量子化、VRAM20GB前後）
ollama run qwen2.5:32b-instruct-q4_K_M

# VRAM使用状況の確認
nvidia-smi

実行中にnvidia-smiでVRAM使用量を確認しながら、コンテキスト長（num_ctx）やモデルの量子化レベルを調整していくのが実務上の進め方です。30B級モデルを試す際は、他のアプリケーションがVRAMを消費していないかを事前に確認しておくと、ロード失敗を避けやすくなります。

llama.cppでの実行例

llama.cppを直接ビルドして使う場合、GPUオフロード層数（-ngl）を指定して実行します。RTX 3090の24GBであれば、多くの13B〜34B級GGUFモデルで全レイヤーをGPUに載せる-ngl 99（またはそれ以上の大きな値）指定が現実的です。

./llama-cli \
  -m ./models/qwen2.5-32b-instruct-q4_k_m.gguf \
  -ngl 99 \
  --ctx-size 8192 \
  -p "あなたはAIアシスタントです。"

VRAM不足でロードエラーが出る場合は、-nglの値を段階的に下げて一部レイヤーをCPU側に逃がすか、より低いビット幅の量子化（例: Q4_K_MからQ3_K_Mへ）に切り替えるのが定石です。--ctx-size（コンテキスト長）を大きくするほどKVキャッシュ分のVRAMも増えるため、VRAMが逼迫している場合はまずコンテキスト長を絞って様子を見る、という順序で調整するとトラブルシューティングがしやすくなります。

想定されるユースケース

• 個人開発者のRAGシステム検証: 7B〜13B級モデル＋埋め込みモデルを同時に載せ、社内文書検索チャットのプロトタイプを低コストで構築する
• コーディング支援ツールの自前運用: Code Llama系やQwen2.5-Coder系のモデルをQ4量子化でロードし、社外にコードを送信しないローカル完結のコーディング補助として使う
• 学習・研究用の実験環境: ファインチューニング手法（LoRA・QLoRAなど）の学習も、7B級モデルであればRTX 3090の24GB VRAMで実験しやすい
• 中古2枚構成による検証: NVLink対応を活かし、中古のRTX 3090を2枚組み合わせて、より大きなモデルのマルチGPU推論（vLLM等でのテンソル並列）を検証する構成
• コスト重視のホームラボAIサーバー: 常時起動のミニPCサーバーに組み込み、家庭内・小規模チーム内向けのチャットAPIとして運用する

実務では、「量子化前のモデルカードに書かれているパラメータ数」だけでなく、実際にダウンロードするGGUFファイルのサイズ（ファイルサイズ ≒ 必要VRAMの目安）を確認してから導入するのが定石です。Hugging Face上の量子化版モデルページには量子化レベルごとのファイルサイズが明記されていることが多く、そこを基準にRTX 3090のVRAMへの収まりを事前に判断できます。

メリット・デメリット

RTX 4090・RTX 4080との違い（性能比較）

スペック比較表

RTX 3090とRTX 4090は同じ24GB VRAMのため「収まるモデルサイズの上限」はほぼ同じですが、Tensor Coresの世代差により推論速度には明確な差があります。一方でRTX 4080（無印）はVRAMが16GBに抑えられており、30B級以上のモデルを4bit量子化で扱おうとするとVRAM不足が顕在化しやすい点に注意が必要です。ローカルLLM用途で「扱えるモデルサイズの上限」を重視するなら、RTX 4080よりもVRAM容量で並ぶRTX 3090・RTX 4090の系列を優先した方が実用的な場面が多くなります。

選定の考え方

予算を最優先し、多少の速度低下を許容できるなら中古のRTX 3090、速度と省電力性・FP8対応まで含めて妥協したくないならRTX 4090、という住み分けが基本になります。RTX 4080は「VRAM16GBで足りる7B〜13B級中心の運用」であれば選択肢に入りますが、より大きなモデルを見据えるならVRAM24GB級（RTX 3090またはRTX 4090）を選ぶ方が、後々のモデル選択の自由度を確保しやすくなります。

実務ポイント：推奨構成・中古選定・用途別推奨度

システム要件

• CPU: Intel Core i7-10700K以上またはAMD Ryzen 7 3700X以上を目安に
• RAM: 32GB以上（CPUオフロードを想定するなら64GB以上を推奨）
• 電源: 750W以上、80+ Gold認証以上を推奨
• マザーボード: PCIe 3.0 x16スロット（PCIe 4.0でも動作するが世代自体はPCIe 3.0相当）
• ケース・冷却: 3スロット占有モデルが多く、十分なエアフローと排気を確保する

ソフトウェア環境

• ドライバ: NVIDIA Studio/Game Readyドライバの最新版（CUDA 12系対応）
• 実行環境: WindowsならWSL2上のUbuntuでCUDA開発する構成、ネイティブLinuxならドライバ・CUDA Toolkitの導入がやや簡潔
• 量子化・推論ライブラリ: llama.cpp、bitsandbytes、AutoAWQ、ExLlamaV2など用途に応じて選択

中古購入時の注意点

RTX 3090は発売から数年が経過しており、現在は基本的に中古での入手が前提になります。購入時は以下の点を確認するのが実務上の定石です。

• マイニング使用歴: 長時間高負荷運転されていた個体はファンやVRAMの劣化リスクが相対的に高くなる
• 温度チェック: GPU-Zやnvidia-smiでアイドル時・高負荷時の温度を実測し、異常な高温がないか確認する
• VRAMテスト: OCCTやMATS系のツールでVRAMのエラーチェックを行い、フリーズや異常出力の有無を確認する
• 外観・コネクタ確認: 8pin電源コネクタ周辺の焦げ・変色、ファン軸のガタつきがないか目視確認する
• 保証・返品条件: 販売店・フリマ経由かで保証範囲が大きく異なるため、購入前に条件を必ず確認する

用途別の推奨度

高推奨: コストを最優先しつつ24GB VRAMを確保したい個人開発者、7B〜13B級モデルを中心に据えつつ将来的に30B級も試したい学習・研究用途、中古2枚構成でマルチGPU推論を検証したい上級者向けの用途。

検討推奨: 商用の本番運用で安定性・保証を重視する場合は新品が入手できるRTX 4090やRTX 4080も比較検討する価値がある。最高速度を求める場合や、FP8演算による高速化を活かしたい場合はRTX 4090が優位。1台で完結させたく、予算とケースサイズの制約から16GBで妥協できる場合はRTX 4080も選択肢になる。

2025-2026年の最新動向

中古市場での人気継続: RTX 40シリーズ・RTX 50シリーズの登場によりラインナップ上は旧世代となりましたが、24GB VRAMを比較的低コストで確保できる選択肢として、中古市場での需要は根強く続いています。新世代GPUの登場に伴い供給量が増える局面では、価格がさらにこなれる傾向も一般に見られます。

llama.cppの継続的な最適化: Ampere世代のTensor Core・CUDA Coreをより効率的に活用するカーネル最適化が継続的に行われており、発売から時間が経過したRTX 3090でも、ソフトウェア側の改善によって実効的な推論速度がじわじわと向上する傾向が見られます。

量子化技術の進化: imatrix（importance matrix）を用いたGGUF量子化により、同じQ4クラスのビット幅でも出力品質の劣化を抑えられるようになってきています。VRAM容量が同じ24GBのRTX 3090にとって、量子化品質の向上はそのまま「同じVRAM予算でより高品質な応答を得られる」というメリットに直結します。

推論特化モデルの普及: DeepSeek-R1系に代表される「思考過程を出力してから回答する」タイプの推論特化モデルは、通常のチャットモデルより出力トークン数が増える傾向があります。RTX 3090のようなミドル〜ハイエンドGPUでも、レイテンシとVRAM双方の見積もりを従来より余裕を持って行う必要が出てきている点は、選定時に押さえておきたい傾向です。

よくある質問（FAQ）

関連用語

外部リンク

• NVIDIA RTX 3090公式ページ
• Ollama公式サイト
• llama.cpp（GitHub）
• LM Studio公式サイト