Vision AI向けプロセッサ RZ/Vシリーズ©とDeemDetector© で省メモリ且つ高速な物体検出を実現してみませんか？

はじめに

 

本稿では、Vision AI向けで低消費電力/低発熱に効果的なマイクロプロセッサであるRenesas RZ/Vシリーズ©とRZ/V上で高速・高精度な物体検出を実現するAIモデル 日立ソリューションズ・テクノロジー社のDeemDetectorを紹介します。

 

RZ/Vシリーズに搭載される独自のAIアクセラレータ  “DRP-AI©”

RZ/Vシリーズはルネサス独自のAIアクセラレータ「DRP(Dynamically Reconfigurable Processor)-AI」を内蔵したマイクロプロセッサ(MPU)で、AI推論の高性能化と低消費電力化を実現します。

以下にDRP-AIの特徴を示します。

・DRP-AIはAI 推論専用のハードウェアで、演算処理を動的に再構成した柔軟性と高速処理および高い電力効率を実現

・AIモデルに関わらず、推論性能と低消費電力を両立

・DRP-AI トランスレータ©により独自AIモデルによる推論も可能

DRP-AIの開発フロー概略は以下、及び図1の通りです。

 

1. 入力ファイルを準備

DRP-AI トランスレータは、AIモデルをDRP-AIオブジェクトファイルに変換するためのソフトウェアツールです。

既存の学習済AIモデルをAI標準フォーマットであるONNX（Open Neural Network Exchange）形式等に変換しDRP-AIトランスレータに入力する事で、DRP-AIオブジェクトファイルを作成可能です。

そのために必要なファイルは以下となります。

-　AIモデル（*.onnx）

-　前処理と後処理の定義（*.yaml）

-　アドレスマップ定義（*.yaml）

2. DRP-AI オブジェクトファイルの生成

上記ファイルに対してDRP-AIトランスレータを実行する事でDRP-AIに最適なオペレーション・コードへ変換され、以下DRP-AI オブジェクトファイルが生成されます。

生成されるファイルは以下です。

-　AIMACディスクリプタ（aimac_desc.bin）

-　DRPディスクリプタ（drp_desc.bin）

-　DRPパラメータ（drp_param.bin）

-　重みづけデータ（*_weight.dat）

-　DRP設定データ（*_drpcfg.mem）

3. DRP-AIの実行

2.で作成したファイルをDRP-AI実行環境に移行し、DRP-AI Support Packageに含まれるサンプルアプリケーションにより、以下の推論実行環境を構築出来ます。

(1)オブジェクトファイルをアドレスマップ定義に従いメモリ上に配置

(2)カメラ入力画像データをメモリ上に配置

(3)DRP-AIはオブジェクトファイルと画像データをロードし、推論を実行

(4)推論結果をメモリに出力

サンプルアプリケーションはソースコードを提供しているため、AIモデルに合わせたアプリケーションを作成できます。

※ 詳細はDRP-AI Translator V1.82をご参照下さい。

図1. DRP-AI開発イメージ

画像引用元：https://www.renesas.com/jp/ja/blogs/start-your-first-step-vision-ai-development-using-rzv-microprocessor-mpu

 

日立ソリューションズ・テクノロジー社製AIモデル(DeemDetector)の適用

 

DeemDetectorは日立ソリューションズ・テクノロジー社独自の物体検出用AIモデルで 従来NVIDIA製Jetsonシリーズ向けでしたが、新たにRZ/Vシリーズにも適用されました。

DeemDetectorの特長は以下の通りです。

・OSS DNNモデルと比較し、省メモリかつ高速な検出を実現可能

・ISO9001プロセス認証取得のためAI製品の品質保証が容易

 

DeemDetectorはRZ/V上で容易にインストール/実行が可能です。

方法としては、DRP-AIのユーザーズマニュアルに従ってインストール(DRP-AI トランスレータの出力ファイルをコピー)し、一般的な画像AI処理フロー(下図)通りに簡易アプリを作成して実行します。

図2. 画像AI処理フロー

YOLOv3との比較

 

一般に広く知られている物体検出モデルであるYOLOv3とDeemDetectorを比較してみます。

以下の表が各項目になりますが、使用メモリはDeemeDetectorの方が圧倒的に少なく、且つ処理時間が短い事がわかります。

図3. DeemDetectorとYOLOv3との比較

また日立ソリューションズ・テクノロジー社HP※にもある通り、

実際のデモ機で比較してみてもDeemDetectorの方が物体検出の推論処理性能が高く(速く)、推論精度については同等、もしくは少し高い事が感じられます。

 

まとめ

RZ/VシリーズにおけるDRP-AIとオリジナルAIモデルの適用について記載させていただきました。

ユースケースに応じて各ユーザがカスタムしたAIモデルを構築/適用するのにDRP-AI トランスレータを用いて開発するのにこの記事が検討の一助になれば幸いです。

※本記事に記載された会社名、商品名、システム等は、各社または団体の商標または登録商標です。

 

参考文献

ルネサスエレクトロニクス社 RZ/V

日立ソリューションズ・テクノロジー社 画像認識エッジソリューション製品