Azure IoT Edge ビジョン AI でのカメラの選択
コンピューター ビジョン システムの最も重要なコンポーネントの 1つにカメラがあります。 カメラは、人工知能 (AI) モデルまたは機械学習 (ML) モデルが正しく評価および識別できる画像をキャプチャして提示する必要があります。 この記事では、さまざまなカメラの種類、機能、および考慮事項について詳しく説明します。
カメラの種類
カメラの種類には、エリア スキャン、ライン スキャン、および埋め込みスマート カメラがあります。 これらのカメラには多数の製造元があります。 特定のニーズに合ったベンダーを選択してください。
エリア スキャン カメラ
エリア スキャン カメラは、従来のカメラ画像を生成します。 このカメラには、通常、ピクセル センサーのマトリックスがあります。 カメラは 2D 画像をキャプチャし、それを評価のために Azure IoT Edge ハードウェアに送信します。
エリア スキャン カメラは、広い領域を見ることができ、変更を検出するのに適しています。 エリア スキャン カメラを使用できるワークロードの例としては、職場の安全性や、環境内のオブジェクトの検出またはカウントが挙げられます。
ライン スキャン カメラ
ライン スキャン カメラは、1 行の線形ピクセル センサーを備えています。 このカメラは、1 ピクセル幅の画像を連続して素早く撮影し、それらをビデオ ストリームに継ぎ合わせ、そのストリームを処理のために IoT Edge デバイスに送信します。
ライン スキャン カメラは、アイテムがカメラを横切る場合や、欠陥を検出するために回転する必要がある場合のビジョン ワークロードに適しています。 その後、ライン スキャン カメラによって、評価用の連続画像ストリームが生成されます。 ライン スキャン カメラに最適なワークロードの例を次に示します。
- コンベヤ ベルト上を移動する部品の欠陥検出
- 円柱状のオブジェクトを確認するために回転が必要になるワークロード
- 回転が必要なワークロード
埋め込み型スマート カメラ
埋め込み型スマート カメラは、自己完結型のスタンドアロン システムであり、画像の取得だけでなく、処理することもできます。 埋め込み型スマート カメラでは、画像をキャプチャするために、エリア スキャン カメラまたはライン スキャン カメラのいずれかを使用できます。ただし、ライン スキャンのスマート カメラはほとんどありません。 これらのカメラは、通常、RS232 またはイーサネット出力ポートを備えているため、プログラミング可能ロジック コントローラー (PLC) または他の産業用 IoT (IIoT) コントローラーに直接統合できます。
カメラの機能
ビジョン ワークロード用のカメラを選択する際には、いくつかの機能を考慮する必要があります。 以下のセクションでは、センサーのサイズ、解像度、および速度について説明します。 検討すべきその他のカメラ機能は次のとおりです。
- レンズの選択
- 焦点距離
- モノクロまたは色深度
- ステレオ画像の奥行き
- トリガー
- 物理サイズ
- サポート
カメラの製造元から、アプリケーションに必要な特定の機能を理解するためのサポートを得られます。
センサーのサイズ
センサーのサイズは、カメラで評価すべき最も重要な要素の 1 つです。 センサーは、ターゲットをキャプチャして信号に変換するカメラ内のハードウェアです。その後、信号から画像が生成されます。 センサーには、"フォトサイト" と呼ばれる半導体光検出器が数百万個組み込まれています。
メガピクセル数を大きくしても、画像の品質が向上するとは限りません。 たとえば、1,200 万フォトサイトと 1 インチのセンサーを備えたカメラでは、1,200 万フォトサイと 1/2 インチのセンサーを備えたカメラよりも明瞭で鮮明な画像が生成されます。 コンピューター ビジョン ワークロード用のカメラでは、センサー サイズは通常 1/4 インチから 1 インチです。 場合によっては、より大きなセンサーが必要になることがあります。
次のようなビジョン ワークロードの場合は、より大きいセンサーを選択します。
- 精密測定が必要である
- 低照度である
- 露出時間が短い、または高速移動する対象である
解決策
解像度は、カメラの選択におけるもう 1 つの重要な要素です。 次のようなワークロードの場合、より高い解像度のカメラが必要です。
- 集積回路チップ上の文字など、微細な特徴を識別する必要がある
- 顔を検出しようとしている
- 遠距離から車両を識別する必要がある
次の画像は、特定のユース ケースに対して間違った解像度を使用した場合の問題を示しています。 どちらの画像も、車から 20 フィートの距離で撮られています。 小さい赤色のボックスは、1 ピクセルを表しています。
次の画像は、480 水平ピクセルで撮影されています。
次の画像は、5184 水平ピクセルで撮影されています。
速度
1 秒間に多くの画像をキャプチャする必要があるビジョン ワークロードの場合、2 つの要素が重要になります。 最初の要素は、カメラ インターフェイス接続の速度です。 2 番目の要素はセンサーの種類です。 センサーには、電荷結合素子 (CCD) とアクティブ ピクセル センサー (CMOS) の 2 種類があります。 CMOS センサーはフォトサイトから直接読み出すことができます。そのため、通常、フレーム レートが高くなります。
カメラの配置
ビジョン ワークロードでキャプチャする必要のある項目によって、カメラ配置の場所と角度が決まります。 カメラの位置は、センサーの種類、レンズの種類、カメラ本体の種類に影響することもあります。 カメラの配置を決定する最も重要な 2 つの要素は、照明と視界です。
カメラの照明
コンピューター ビジョン ワークロードでは、照明はカメラ配置にとって重要です。 さまざまな照明条件を適用できます。 あるビジョン ワークロードに適した照明条件が、別のワークロードでは望ましくない効果を生じさせる可能性があります。
コンピューター ビジョン ワークロードには、いくつかの一般的な照明の種類があります。
- "直接照明" は、最も一般的な照明条件です。 光源が、キャプチャ対象のオブジェクトに投影されます。
- "ライン照明" は、ライン スキャン カメラで最もよく使用される、照明の単一の配列です。 ライン照明は、カメラの焦点に 1 本の光を当てます。
- "拡散照明" はオブジェクトを照射しますが、強い影が出ないようにします。 拡散照明は、ほとんどの場合、反射性のオブジェクトに対して使用されます。
- "拡散同軸照明" は、多くの場合、反射が強いオブジェクトに対して使用するか、またはキャプチャする部分に影ができないようにするために使用します。
- "逆光照明" は、オブジェクトの背後で使用され、オブジェクトのシルエットを生成します。 逆光照明は、測定、エッジ検出、またはオブジェクトの向きに対して最も役立ちます。
- "カスタム グリッド照明" は、オブジェクトに対して光のグリッドをレイアウトする、構造化された照明条件です。 既知のグリッド投影は、項目コンポーネント、パーツ、および配置のより正確な測定を提供します。
- "ストロボ照明" は、高速で動くパーツに対して使用されます。 ストロボは、評価対象のオブジェクトの "フリーズ" 状態を撮影するために、カメラと同期されている必要があります。 ストロボ照明は、手ぶれ効果を防ぐのに役立ちます。
- "暗視野照明" では、キャプチャするパーツへの角度が異なる複数のライトを使用します。 たとえば、部品がコンベヤ ベルト上に平らに配置されている場合、照明はベルトに対して 45 度の角度になります。 暗視野照明は、反射の強い透明なオブジェクトに対して最も役立ち、"レンズのキズの検出" によく使用されます。
次の図は、光源の配置の角度を示しています。
視野
ビジョン ワークロードの計画では、評価するオブジェクトの視野 (FOV) について把握する必要があります。 FOV は、カメラの選択、センサーの選択、およびレンズの構成に関係します。 視野の構成要素には、次のものがあります。
- オブジェクトまでの距離。 たとえば、監視対象のオブジェクトは、カメラが 2 フィート上にあるコンベヤ ベルト上にあるのか、または駐車場全体に存在するのか。 カメラのセンサーとレンズの構成は、距離によって異なります。
- 対象範囲。 コンピューター ビジョンで監視しようとしているエリアは小さいですか、大きいですか。 この要素は、カメラの解像度、レンズ、センサーの種類に直接関連します。
- 太陽の方向。 コンピューター ビジョンワークロードが屋外にある場合は、1 日を通して太陽の方向を考慮する必要があります。 移動する太陽の角度が、コンピューター ビジョン モデルに影響を与える可能性があります。 カメラのレンズに直射日光が当たる場合、太陽の角度が変わるまでカメラを使えない可能性があります。 監視対象のオブジェクトの上に太陽が影を落とす場合、オブジェクトが不明瞭になる可能性があります。
- オブジェクトに対するカメラの角度。 カメラが高すぎる場合や低すぎる場合は、ワークロードでキャプチャしようとしている詳細が欠落する可能性があります。
通信インターフェイス
コンピューター ビジョンのワークロードを計画する場合は、カメラの出力がシステムの他の部分とどのように相互作用するのか理解することが重要です。 カメラが IoT Edge デバイスと通信する標準的な方法がいくつかあります。
リアルタイム ストリーミング プロトコル (RTSP) は、ストリーミング ビデオ サーバーを制御するアプリケーション レベルのネットワーク プロトコルです。 RTSP は、TCP/IP 接続を使用して、カメラ から IoT Edge コンピューティング エンドポイントにリアルアイム ビデオ データを転送します。
Open Network Video Interface Forum (ONVIF) は、IP ベースのカメラのオープン標準を開発する、グローバルでオープンな業界フォーラムです。 これらの標準には、IP カメラとダウンストリーム システム間の通信、相互運用性、およびオープンソースが記述されています。
ユニバーサル シリアル バス (USB) 接続型のカメラは、USB ポートを使用して、IoT Edge コンピューティング デバイスに直接接続されます。 この接続は複雑さが低くなりますが、カメラを配置できる IoT Edge デバイスからの距離が制限されます。
カメラ シリアル インターフェイス (CSI) には、Mobile Industry Processor Interface (MIPI) Alliance の標準がいくつかあります。 CSI には、カメラとホスト プロセッサの間の通信方法が記述されています。 2005 年にリリースされた CSI-2 には、いくつかのレイヤーがあります。
- 物理レイヤー (C-PHY または D-PHY)
- レーン マージャー レイヤー
- 低レベル プロトコル レイヤー
- ピクセル - バイト変換レイヤー
- アプリケーション レイヤー
CSI-2 v3.0 では、RAW-24 色深度、統合シリアル リンク、スマート関心領域のサポートが追加されました。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパル作成者:
- Keith Hill | シニア PM マネージャー
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。