NPU（Neural Processing Unit）

概要

NPU（Neural Processing Unit、ニューラル・プロセッシング・ユニット）は、AI推論処理、特にニューラルネットワークの演算に特化して設計された専用プロセッサです。

ローカルLLM運用において、従来のCPUやGPUと連携し、効率的で省電力なAI推論処理を実現する重要なハードウェアコンポーネントです。

NPUという呼び方はここ数年で一般化した名称で、それ以前は「AIアクセラレータ」「ニューラルエンジン」「AIエンジン」など、メーカーごとにバラバラの名前で呼ばれていました。単体の拡張カードとして販売されるGPU（NVIDIA RTXシリーズなど）とは異なり、NPUは基本的にCPU・GPUと同じSoC（System on Chip）の中に統合され、単体では購入できないのが特徴です。ノートPCやスマートフォンのように「バッテリー駆動でAI機能を常時動かしたい」用途に向けて設計されており、Windows 11のCopilot+ PC要件や、AppleのiPhone・Mac、AndroidスマートフォンのSoCに標準搭載されるのが一般的です。

NPUの仕組み（アーキテクチャ）

専用設計による最適化

• 行列演算最適化: ニューラルネットワークの重み計算に特化
• 低精度演算: INT8、INT4などの量子化演算に対応
• 並列処理: 大量の積和演算を同時実行
• 省電力設計: GPUと比較して大幅な消費電力削減

アーキテクチャの中身

NPUの中心にあるのは、MAC（Multiply-Accumulate、乗算累算）ユニットを格子状に敷き詰めた演算アレイです。GoogleのTPUで採用されている「シストリックアレイ」と呼ばれる方式に近い考え方で、データを演算ユニット間で隣接転送しながら流し込むことで、外部メモリへのアクセス回数を最小限に抑えます。GPUがSIMT（Single Instruction, Multiple Threads）型の汎用並列プロセッサであるのに対し、NPUはニューラルネットワークの推論という決まったデータフローに特化しているため、同じ電力・チップ面積でもより高い演算効率を実現できます。

• データフロー最適化: 畳み込み・行列積など推論時のデータパスに特化した回路設計
• オンチップSRAM: 外部メモリバスへのアクセスを減らす専用の高速キャッシュ層
• 演算ユニット: 乗算累算（MAC）ユニットを大量搭載し並列度を確保
• 低精度前提の設計: FP32ではなくINT8/INT4・FP16/BF16での演算を前提にトランジスタ数と消費電力を削減

具体例：主要NPU製品

主要SoCベンダーは、それぞれ独自の名称でNPUを提供しています。以下は代表的な製品とその位置づけです（TOPS値はベンダー公表の理論性能値で、実際の推論性能はソフトウェアスタックに大きく左右される点に注意してください）。

このほか、Google Tensor（Pixelスマートフォン、オンデバイスGemini Nanoの実行に利用）や、MediaTekの「APU」（AI Processing Unit）など、モバイル領域でも同種のNPUが広く搭載されています。

ローカルLLMでの活用（メモリ要件・量子化・速度の目安）

推論効率化

NPUは特に以下の処理で威力を発揮します：

• トークン化処理: 入力テキストの前処理
• エンベディング計算: 軽量な特徴量抽出
• アテンション機構: 一部の並列処理
• 量子化推論: INT8/INT4での高速処理
• 音声認識・翻訳字幕: WhisperベースのモデルなどLLM周辺タスクの常時実行

GPU連携（ハイブリッド構成）

ローカルLLM環境では、以下のような役割分担で処理を最適化するのが一般的です。

• GPU: メイン推論処理（Transformer層のデコードループ）
• NPU: 前処理・後処理、軽量推論、バックグラウンドの常時稼働タスク
• CPU: 制御・メモリ管理、NPU/GPU非対応の演算のフォールバック先

メモリ要件とモデルサイズの目安

discrete GPU（NVIDIA RTXシリーズなど）が専用のVRAMを持つのに対し、NPUは基本的にCPU・GPUと同じシステムRAM（ユニファイドメモリ）を共有します。そのため「NPU用のVRAM」という概念自体が存在せず、実質的にはPC本体の搭載RAM容量がモデルサイズの上限を決めます。おおまかな目安は以下の通りです（実際の必要量はコンテキスト長やKVキャッシュ、フレームワークのオーバーヘッドにより変動します）。

Copilot+ PCの多くは16〜32GB程度のシステムRAMを搭載する構成が主流のため、NPU中心の環境では7B前後・4bit量子化までのモデルが現実的な運用範囲になることが多く、13B以上の大規模モデルはRAM容量やメモリ帯域の制約からメイン処理をGPUやクラウドAPIに任せる設計が定石です。

量子化フォーマットとの相性

llama.cppやOllamaで使われるGGUF形式（Q4_K_M、Q5_K_Mなどのkクオンツ）は、CPU/GPU推論を前提に設計された量子化フォーマットです。一方でNPUは、Core ML（Apple）、OpenVINO（Intel）、QNN（Qualcomm）、Ryzen AI Software（AMD）といった各ベンダー独自のツールチェーンで、ONNXやそれぞれの中間形式に変換してから専用の量子化（多くはINT8固定小数点、または非対称量子化）を適用するのが一般的です。つまり「GGUFファイルをそのままNPUに読み込ませて実行する」という単純な互換性は現状ほぼなく、モデル変換・再量子化の工程を挟む必要がある点が、GPU中心のワークフローとの大きな違いです。

推論速度（tokens/秒）の目安

NPU単体でのLLMトークン生成速度は、機種・ドライバ・フレームワークのバージョンによって大きく変動しますが、一般的な傾向として次のように整理できます。

• NPU単体でのデコード: 7B級・4bit量子化モデルで数token/秒〜10数token/秒程度にとどまるケースが多く、専用GPU（RTX 4090などで数十〜100token/秒超）に比べると見劣りする場合が一般的です
• プリフィル（プロンプト処理）: 長いプロンプトの前処理（プリフィル）は並列度が高いためNPUが比較的得意とする領域で、GPUの補助として使われる例があります
• 現実的な使い方: 現時点ではNPUを「LLMのメインのトークン生成エンジン」として単独運用するより、Phi Silicaのような小型・軽量モデルの常時実行や、音声認識・翻訳・画像処理系タスクの省電力実行に充てる使い方が実務上の主流です

混同されやすい用語・類似技術との違い

NPUは「AI専用チップ」を指す言葉として使われますが、隣接する用語との境界があいまいなまま語られることが多く、実務では整理して理解しておく必要があります。

実務上のポイントは、「NPU」という言葉が指す範囲がベンダーやコンテキストによって微妙に異なるため、TOPS値やSDK対応状況を比較する際は必ず製品名（Apple Neural Engine、Intel AI Boost、AMD XDNA、Qualcomm Hexagon NPUなど）まで特定した上で調べる、という点です。

実務ポイント：開発環境・ツール

Apple Core ML

# Core MLでNPU活用
import coremltools as ct
import torch

# PyTorchモデルをCore ML形式に変換
model = torch.load('llm_model.pt')
coreml_model = ct.convert(
    model,
    inputs=[ct.TensorType(shape=(1, 512))],
    compute_units=ct.ComputeUnit.CPU_AND_NE  # Neural Engine使用
)

Intel OpenVINO

# OpenVINOでVPU活用
from openvino.runtime import Core

core = Core()
model = core.read_model("model.xml")

# VPU（NPU）で推論実行
compiled_model = core.compile_model(model, "VPU")
result = compiled_model([input_data])

Ollama・LM Studio・llama.cppのNPU対応状況

ローカルLLMで広く使われる汎用ツールと、NPU専用SDKの対応状況には現状ギャップがあります。導入前に必ず確認しておきたいポイントです。

• Ollama: CPU、NVIDIA CUDA、AMD ROCm、Apple Metal（GPU）が主要な実行バックエンドで、2026年前半時点でNPUへのオフロードを標準機能として公式サポートしているわけではありません。Apple Silicon搭載Macで動かした場合も、推論はNeural Engineではなく主にGPU（Metal）側で行われます。
• llama.cpp: GGUF形式でCPU、CUDA、Metal、Vulkan、SYCLなど幅広いバックエンドをサポートしていますが、Qualcomm QNNやIntel OpenVINOなどNPU向けのバックエンドは、コミュニティやベンダー主導の実験的な取り組みが進行中の段階で、標準ビルドに組み込まれた汎用機能ではありません。
• LM Studio: 内部エンジンはllama.cpp／Apple MLXベースで、CPUとGPU（Metal・CUDA・Vulkan）を中心とした推論に対応しています。NPUを推論バックエンドとして直接指定するUIは標準では用意されていません。
• ベンダー公式ルート: 一方でMicrosoftはWindows上のONNX Runtime／DirectML経由でNPU上のオンデバイスモデル（Phi Silicaなど）実行を公式にサポートしており、IntelはOpenVINO GenAIでNPUプラグインを提供しています。つまり「汎用ローカルLLMツールでは未対応でも、ベンダー公式SDK経由ならNPU実行が可能」というのが2026年前半時点の実情です。

実務での見極めポイント

• Windows 11のタスクマネージャーの「パフォーマンス」タブでNPUの使用率を確認でき、実際に処理がNPUに載っているかを簡易的に検証できる
• macOSではアクティビティモニタでANE（Neural Engine）の使用率を直接確認する標準UIがなく、Core ML側のログや専用ツールでの確認が必要になる
• ドライバ・NPU SDKのバージョンにより対応モデル形式や量子化方式が変わるため、導入時は必ずベンダーの対応表を確認する
• 実務では「NPUは補助エンジン」と割り切り、メイン推論はGPU（またはクラウドAPI）に任せるハイブリッド設計を前提にするのが定石

メリット・デメリット

メリット

• 圧倒的な省電力性: 1〜10W程度でAI推論を実行でき、ノートPC・スマートフォンのバッテリー駆動時間への影響が小さい
• 常時稼働に向く発熱の少なさ: ファンレス・低発熱でバックグラウンドタスクを継続実行しやすい
• GPU/CPUリソースの解放: 軽量タスクをNPUに任せることで、GPUを他の処理（描画・大規模推論）に専有させられる
• プライバシー面の利点: 音声認識や翻訳などをオンデバイスで完結でき、クラウド送信を避けられる

デメリット・技術的制約

• メモリ容量・帯域の制約: システムRAMを共有するため、大規模モデルには不十分になりやすい
• 浮動小数点精度への対応が限定的: FP32での高精度演算は不得手で、INT8/INT4・FP16中心の運用が前提
• ソフトウェアエコシステムの未成熟さ: フレームワーク・ツールごとの対応状況にばらつきがあり、最適化に手間がかかる
• ベンダーロックインの傾向: Core ML、OpenVINO、QNNなど各社SDKへの依存度が高く、複数ベンダーのNPUを横断して同じコードで扱うのが難しい

現在の現実的な用途

• 推奨: 軽量モデル（7B以下、4bit量子化）の補助推論
• 推奨: 前処理・後処理、音声認識・翻訳字幕などの常時実行タスク
• 非推奨: 大規模モデル（30B以上）のメイン処理を単独でNPUに任せる構成

2025-2026年の最新動向

NPU性能の急速な向上が続いています。Copilot+ PCの要件となった40 TOPS前後の世代から、Intel Lunar Lake世代のNPUやAMD Ryzen AI 300シリーズ（XDNA2）、Qualcomm Snapdragon X Eliteなど、40〜50 TOPS級のNPUを搭載する機種が主流になりつつあり、より大きなAIモデルのオンデバイス実行が視野に入ってきています。

NPU向けソフトウェアエコシステムも拡大しており、ONNX Runtime、DirectML、OpenVINO GenAI、Qualcomm AI Hub、AMD Ryzen AI Softwareといったツール群がNPU活用を後押ししています。Microsoftは「Windows AI Foundry」を通じて、Phi Silicaなど小型モデルのオンデバイス実行を標準機能として組み込む方向を進めています。

一方で、llama.cppやOllamaのような汎用オープンソースツール側のNPU対応は、2026年前半時点でもまだ実験段階にとどまっており、「ベンダー公式SDK経由のNPU活用」と「汎用ツール経由のGPU/CPU活用」という二本立ての状況がしばらく続くとみられます。

よくある質問（FAQ）

関連用語

外部リンク

• Copilot+ PC公式
• ONNX Runtime
• Intel OpenVINO
• Apple Core ML Documentation