エッジAIとは、従来クラウドサーバーで実行されていたAI推論処理を、スマートフォン、IoTデバイス、エッジサーバーなどのエンドデバイス上で直接実行する技術です。データをクラウドに送信することなく、デバイス上で機械学習モデルを動作させることで、1ミリ秒レベルの低遅延応答、プライバシー保護、通信帯域幅の大幅節約、オフライン動作を実現します。
エッジAIの実装には、モデル軽量化技術が不可欠です。量子化（Quantization）による演算精度削減、プルーニング（Pruning）による不要パラメータ削除、知識蒸留（Knowledge Distillation）による小型モデル生成、Neural Architecture Search（NAS）による最適アーキテクチャ設計などにより、限られた計算リソースでも高精度な推論を可能にします。TensorFlow Lite、ONNX Runtime、OpenVINO、Core MLなどのフレームワークが開発を支援します。
実用例として、スマートフォンでの顔認識・音声認識、自動運転車のリアルタイム物体検出、工場での外観検査、監視カメラでの異常検知、ドローンの自律飛行制御、医療機器での画像診断支援、スマートスピーカーでの音声処理などがあります。NVIDIA Jetson、Intel Movidius、Google Coral、Apple Neural Engineなどの専用AIチップが、エッジデバイスでの高効率AI処理を実現し、AIの民主化と普及を加速しています。