RTX 3090
概要
RTX 3090は、NVIDIA社のAmpereアーキテクチャを採用した高性能GPU（2020年発売）です。24GBの大容量VRAMを搭載し、ローカルLLM運用において優れたコストパフォーマンスを発揮します。
現在でも中古市場で入手しやすく、RTX 4090の性能を求めないユーザーにとって魅力的な選択肢として人気を維持しています。
主要スペック
- VRAM: 24GB GDDR6X
- CUDA Cores: 10,496個
- RT Cores: 82個（第2世代）
- Tensor Cores: 328個（第3世代）
- ベースクロック: 1,395 MHz
- ブーストクロック: 1,695 MHz
- メモリ帯域幅: 936.2 GB/s
- 消費電力: 350W（TGP）
RTX 4090との比較
性能比較
- VRAM: 24GB（同じ）
- AI性能: RTX 4090の約60-70%
- 消費電力: 350W vs 450W（約22%省電力）
- 価格: 中古市場で大幅に安価
コストパフォーマンス
- 新品価格（発売時）: 約20万円
- 中古価格（2024年）: 約8-12万円
- RTX 4090価格: 約25-30万円
- 性能単価: RTX 3090が優秀
ローカルLLMでの性能
適用可能モデル
24GBのVRAMにより、以下のモデルを実行できます：
- Llama 2 7B（FP16）: 快適に動作
- Llama 2 13B（FP16）: 安定した実行
- Llama 2 70B（INT4量子化）: 実用的な速度
- Code Llama 34B（FP16）: 良好な性能
- Mistral 7B（FP16）: 高速実行
パフォーマンス指標
- Llama 2 7B: 約45-60 tokens/秒
- Llama 2 13B: 約25-35 tokens/秒
- Llama 2 70B（4bit）: 約8-15 tokens/秒
- Code Llama 34B: 約15-25 tokens/秒
量子化との組み合わせ
最適化の効果
# RTX 3090での量子化最適化
from transformers import BitsAndBytesConfig
# 8bit量子化設定
quantization_config = BitsAndBytesConfig(
load_in_8bit=True,
llm_int8_threshold=6.0 # RTX 3090に最適化
)
# モデル読み込み
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-70b-chat-hf",
quantization_config=quantization_config,
device_map="auto"
)
メモリ使用量最適化
- FP16: 13Bモデルで約26GB（RTX 3090では制限）
- INT8: 13Bモデルで約13GB（快適に動作）
- INT4: 70Bモデルで約35GB（オフロード併用）
推奨システム構成
システム要件
- CPU: Intel Core i7-10700K以上またはAMD Ryzen 7 3700X以上
- RAM: 32GB以上（DDR4-3200推奨）
- 電源: 750W以上（80+ Gold推奨）
- マザーボード: PCIe 3.0 x16スロット
- 冷却: 3スロット占有、強力な排気必要
中古購入時の注意点
- マイニング使用歴: ファンやVRAMの劣化確認
- 温度チェック: GPU-Zでアイドル・負荷時温度測定
- メモリテスト: VRAM欠陥の確認
- 保証期間: 残存保証の有無確認
メリット・デメリット
メリット
- 大容量VRAM: 24GBで大規模モデル対応
- 優秀なコスパ: 中古市場での価格が魅力的
- 安定性: 成熟したドライバサポート
- 入手しやすさ: 中古市場に豊富に流通
デメリット
- 性能制限: RTX 4090より約30-40%低い
- 消費電力: 効率はRTX 40シリーズに劣る
- 発熱: 冷却設計に注意が必要
- 中古リスク: 個体差や劣化の可能性
用途別推奨度
高推奨
- コスト重視: 予算15万円以下のユーザー
- 学習・研究用途: 個人での実験・学習
- 中規模モデル中心: 7B-13Bモデルメイン
検討推奨
- 商用利用: 安定性重視なら新品も検討
- 最高性能必須: RTX 4090を推奨
- 省電力重視: RTX 4080も検討