ResNet

この用語をシェア

ResNetとは

ResNet（Residual Neural Network、残差ネットワーク）は、2015年にMicrosoft Research（Kaiming He氏らのチーム）が発表した論文「Deep Residual Learning for Image Recognition」（arXiv:1512.03385）で提案された深層畳み込みニューラルネットワーク（CNN）アーキテクチャです。従来の深層ネットワークが抱えていた勾配消失問題・劣化問題（degradation problem）を「残差学習（Residual Learning）」という考え方で解決し、それまで実用的でなかった100層を超えるネットワーク（最大構成では152層）の訓練を実用レベルまで引き上げました。

ResNetはILSVRC 2015（ImageNet Large Scale Visual Recognition Challenge）の画像分類部門で優勝し、当時のトップ5誤差率は3.57%程度と報告されており、これは人間の認識精度（一般に5%前後とされる）を下回る水準でした。同時に、ILSVRC 2015の物体検出・位置推定部門、およびCOCO 2015の物体検出・セグメンテーション部門でも1位を獲得し、単なる画像分類モデルではなく「コンピュータビジョン全般のバックボーン」としての地位を確立した点が、ResNetが技術史において特別な位置を占める理由です。論文はCVPR 2016のBest Paper Awardを受賞しており、2026年時点でも引用数が最も多いAI関連論文の一つに数えられています。なお「ResNet」という名称自体は特定の1モデルではなく、層数やブロック構造の異なる複数のモデル群（ResNet-18・34・50・101・152など）の総称であり、用語を使う際にはどの層数・どのバリエーションを指しているかを明確にすることが実務上重要です。単に「ResNet」とだけ言う場合、多くの文献・実装では標準的な選択肢であるResNet-50を暗黙の前提としていることが多い点にも注意が必要です。

仕組み・詳細解説

残差学習という発想 ― H(x)ではなくF(x)=H(x)-xを学ぶ

ネットワークのある層（またはブロック）が本来学習すべき理想的な写像をH(x)とすると、従来のネットワークはH(x)そのものを直接近似しようとします。しかし層を深くするほど、恒等写像（入力をそのまま出力する写像）ですら学習が難しくなり、訓練誤差が悪化する「劣化問題」が観測されていました。ResNetのアイデアは、H(x)を直接学習させる代わりに、残差F(x) = H(x) − xを学習させ、出力を F(x) + x として再構成する点にあります。もしその層で恒等写像が最適であれば、F(x)をゼロに近づけるだけでよく、これは一般に非線形変換全体を学習するより容易だと考えられています。

残差ブロックとスキップ接続の構造

ResNetは「残差ブロック（Residual Block）」を積み重ねて構成されます。各ブロックは畳み込み層・バッチ正規化（Batch Normalization）・ReLU活性化関数を数段重ねた経路と、入力をそのまま次のブロックへ橋渡しする「スキップ接続（ショートカット接続）」の2経路を持ち、両者の出力を要素ごとに加算します。この加算により、逆伝播時の勾配は畳み込み層を経由する経路だけでなく、スキップ接続を通じて直接浅い層まで伝わる「勾配ハイウェイ」が形成されます。

// 残差ブロックの基本構造（疑似コード）
input -> Conv -> BatchNorm -> ReLU -> Conv -> BatchNorm -> (+ input) -> ReLU -> output
                                                  ↑
                                        スキップ接続（恒等写像）

勾配消失問題との関係

層数が数十〜100層を超える深いネットワークでは、逆伝播時に勾配が各層を通過するたびに減衰し、入力に近い層のパラメータがほとんど更新されなくなる勾配消失問題が発生しやすくなります。ResNetのスキップ接続は、加算演算の微分が1になるという性質を利用し、勾配をそのまま浅い層へ伝える経路を確保します。これにより152層規模のネットワークでも安定した訓練が可能になりました。なお、この「勾配消失問題」と、層を深くすると訓練誤差自体が悪化する「劣化問題」は別の現象として区別されることが多く、ResNet論文も両者を分けて論じています。

ボトルネック構造による効率化

ResNet-50/101/152では、計算コストを抑えるために「ボトルネック（Bottleneck）」構造が採用されています。3×3畳み込みを直接重ねるのではなく、1×1畳み込みでチャンネル数を一度圧縮し、3×3畳み込みで空間方向の特徴抽出を行い、最後に1×1畳み込みでチャンネル数を元に戻すという「1×1 → 3×3 → 1×1」の3段構成を採用します。これによりパラメータ数と計算量を抑えつつ層数を増やせるため、ResNet-18/34で使われる基本ブロック（Basic Block）よりも深いモデルを現実的な計算コストで構築できます。

主要なバリエーション

• ResNet-18/34：基本ブロック（Basic Block、3×3畳み込み2層構成）を用いた比較的浅い構成で、計算リソースが限られた環境やエッジデバイスへの適用に向く
• ResNet-50/101/152：ボトルネック構造を持つより深いモデル群で、ImageNet学習済みモデルとして最も広く利用されている
• Pre-Activation ResNet（ResNet v2）：He氏らが2016年に発表した改良版で、バッチ正規化とReLUを畳み込みの前に配置する「Pre-Activation」構成により、さらに深い（1000層規模の）ネットワークでも訓練を安定させられることを示した
• ResNeXt：残差ブロック内の畳み込みをグループ化し「カーディナリティ（cardinality）」という新たな次元を導入することで、パラメータ数を増やさずに表現力を高めた改良版
• Wide ResNet（WRN）：層数を増やす代わりにチャンネル数（幅）を増やす方向で高精度化を図った変種で、層数が少ない分だけ訓練速度に優れる
• SE-ResNet：Squeeze-and-Excitation（SE）モジュールを組み込み、チャンネルごとの重要度を動的に再調整する仕組みを追加したバリエーション

具体例・ユースケース

医療画像診断

胸部X線写真やCT画像、病理組織画像（デジタルパソロジー）から病変・異常所見を検出する研究・製品において、ResNet-50などをベースに、医療画像データセットでファインチューニングしたモデルが広く使われてきました。データ量が限られる医療分野では、ImageNetで学習済みのResNetから転移学習することで、少ないラベル付きデータでも実用的な精度を得やすい点が評価されています。

自動運転・ロボティクスの物体認識

自動運転車やロボットが周囲の歩行者・車両・障害物を認識するタスクでは、Faster R-CNNやMask R-CNNといった物体検出・セグメンテーションモデルのバックボーン（特徴抽出器）としてResNetが採用されてきました。ボトルネック構造による計算効率の高さから、リアルタイム推論が求められる組み込み環境でも比較的扱いやすいアーキテクチャとされています。

衛星画像・リモートセンシング解析

衛星写真や航空写真から土地利用状況、建物、農地の作物状態などを分類・検出する用途でも、ResNetベースのモデルが特徴抽出器として利用されています。画像サイズが大きく解像度も多様なリモートセンシング分野では、層の深さを変えられるResNetファミリー（18〜152層）の中から計算資源や精度要件に応じたモデルを選びやすいことが利点です。

画像生成モデルの内部構造への影響

直接的な「ResNetの応用」とは異なりますが、Stable DiffusionやDALL·Eなどの画像生成モデルが採用するU-Net構造の内部には、ResNetと同じ考え方に基づく残差ブロックが組み込まれています。入力と出力を足し合わせるスキップ接続は、拡散モデルのノイズ除去ネットワークにおいても勾配を安定させる目的で使われており、ResNetが提案した設計原理が画像分類を超えて生成AI領域まで浸透していることを示す例といえます。

メリット・デメリット

混同されやすい用語・類似技術との違い

応用分野と成果

画像分類

ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2015で1位を獲得し、当時報告されたトップ5誤差率は3.57%程度と、人間の認識精度に匹敵ないしそれを上回る水準に達しました。この結果は、深層学習が画像認識タスクにおいて実用段階に入ったことを示す象徴的な出来事として広く引用されています。

物体検出

Faster R-CNN、Mask R-CNNなどの物体検出・インスタンスセグメンテーションモデルの多くが、特徴抽出を担うバックボーンとしてResNet-50やResNet-101を採用してきました。ResNet自体もILSVRC 2015の物体検出・位置推定部門、COCO 2015の物体検出・セグメンテーション部門で1位を獲得しています。

セマンティックセグメンテーション

画像の各ピクセルをクラス分類するセマンティックセグメンテーションのタスクでも、DeepLabシリーズをはじめとする多くのモデルがResNetを特徴抽出のバックボーンとして採用し、高い性能を発揮してきました。

実装と利用（実務ポイント）

ResNetは主要な深層学習フレームワークすべてで事前学習済みモデルが標準提供されており、転移学習による活用が容易です。PyTorch（torchvision.models.resnet50など）、TensorFlow/Keras（tf.keras.applications.ResNet50など）で数行のコードから利用でき、コンピュータビジョンタスクの基盤として広く採用されています。

import torchvision.models as models

# ImageNetで学習済みのResNet-50をロード
model = models.resnet50(weights="IMAGENET1K_V2")

# 最終全結合層を独自タスク向けに置き換えて転移学習
model.fc = torch.nn.Linear(model.fc.in_features, num_classes)

実務では、以下のような判断軸でモデルサイズを選ぶのが定石とされています。

• 推論速度・省メモリを優先する場合：ResNet-18/34、またはMobileNet系との比較検討
• 精度と汎用性のバランスを取る場合：ResNet-50（最も広く使われる標準的な選択肢）
• 精度を最優先する場合：ResNet-101/152、あるいはConvNeXtやViT系モデルとの比較検討
• 学習データが少ない場合：ImageNet学習済み重みからのファインチューニングを基本とし、フルスクラッチ学習は避けるのが一般的

2025〜2026年の最新動向

2020年代後半に入り、画像認識分野の主役はVision Transformer（ViT）やその発展形、さらにはCLIPやSigLIPのようなマルチモーダル基盤モデルの視覚エンコーダへとシフトしています。とはいえResNet自体が廃れたわけではなく、以下のような形で存在感を保っています。

軽量・エッジ推論での採用継続

スマートフォン、産業用カメラ、ドローン、ロボットなど計算資源が限られるエッジデバイス向けの用途では、ViT系モデルより計算コストを見積もりやすく最適化ノウハウも蓄積されているResNet系アーキテクチャ（あるいはそこから派生した軽量版）が、実運用のベースラインとして今も選ばれる場面があります。

残差接続という発想の遍在化

ResNetが提案した「入力と出力を加算するスキップ接続」という設計原理は、Transformerの各層（Self-AttentionやFeed Forward Networkの前後にAdd & Normを配置する構造）、拡散モデルのU-Net内部、さらには近年の大規模言語モデル（LLM）や推論モデルのネットワーク構造にも共通して採用されています。ResNetそのものというより、その中核アイデアが2025〜2026年の生成AI・マルチモーダルAIを支える基盤技術として定着している点が、この用語を理解する上で重要な視点です。

知識蒸留・軽量化モデルのベースとしての利用

大規模な視覚基盤モデル（Vision Foundation Model）から知識蒸留（Knowledge Distillation）を行い、ResNet相当の軽量なCNNへ精度を移す研究・実装が引き続き行われています。高精度だが計算コストの大きいモデルを教師として、ResNet構造の生徒モデルへ知識を圧縮することで、現場での省コスト運用と一定の精度を両立させるアプローチです。

影響と発展

ResNetの登場により、深層学習における「深さ」の限界が大幅に拡張されました。その後開発されたDenseNet、EfficientNet、そしてVision Transformerに至るまで、多くの先進的なアーキテクチャがResNetの残差学習というアイデアを基盤に発展しています。学術的な影響の大きさを示す指標として、ResNet論文はAI・コンピュータビジョン分野で最も多く引用される論文の一つに数えられ、CVPR 2016のBest Paper Awardを受賞しました。現在でも多くのコンピュータビジョンアプリケーションにおいて、標準的な比較対象（ベースライン）として利用され続けています。

この用語についてもっと詳しく

ResNetに関するご質問や、システム導入のご相談など、お気軽にお問い合わせください。

よくある質問（FAQ）

関連用語

外部リンク・参考資料

• Deep Residual Learning for Image Recognition（原論文, arXiv:1512.03385）
• PyTorch torchvision公式ドキュメント（ResNetモデル一覧）
• Keras公式ドキュメント（ResNetアプリケーション）
• Papers with Code - ResNet解説・関連研究一覧