セマンティック検索と識別
現在、自動注釈は自動車業界全体では一般的に半自動化されたプロセスです。 このプロセスでは、交通標識やシーン状況の説明 (画像やフレーム内の車両の追い越しなど) などのオブジェクトを自動的に検出しようとするサービスにビデオまたは画像資料を実行する必要があります。 オブジェクトは、自律認識スタックのトレーニングと検証に関連するシナリオを識別するために不可欠です。 これらのさまざまな要因により、プロセス全体が煩雑になります。
プロセスを改善するには、DataOps リファレンス アーキテクチャで詳しく説明されているようなデータ管理基盤が重要です。 この基盤を使用することで、自動運転に必要なコンピューター ビジョン モデルのトレーニングに使用される関連データ セットのインデックス作成、注釈付け、検索、選択が可能になります。 ベクトル検索と埋め込みは、学習および検証の下流プロセスのために注釈が付けられた関連するシーンとシナリオを識別するのに役立ちます。 手動レビューを実行してプロセスを強化すれば、重要な状況でのワークロードに集中できます。
次の図は、このシナリオをサポートするワークフローを示しています。
ワークフローは、車両からの実際の録画で始まります。 録画を使用して、識別された状況に基づいて後の段階でシナリオを総合的に導き出すこともできます。 Azure AI Vision サービスは、録画に自動的に注釈を付けてオブジェクトを検出し、カメラと画像の録画されたフレームを把握します。
車両と特別に装備されたカメラは、すでに車線変更などの情報を提供しています。
カメラ、CAN テレメトリ、場所などのさまざまな信号ストリームを統合してシーンを識別およびキャプチャし、含まれるオブジェクトを理解します。 たとえば、Tata Consultancy Services と提携して、Azure AI Vision サービスが生成した自動注釈を CAN ベースの状況検出で強化しました。スマートで持続可能な車両に命を吹き込むを参照してください。
Azure OpenAI サービスは、セマンティックおよびベクトルベースの状況検索の準備として埋め込みを生成するための情報を受信します。 埋め込みの生成は、テキストを浮動小数点数の密なベクトルに変換するプロセスで、機械学習モデルとアルゴリズムが簡単に利用できるデータ表現を示しています。 詳細については、Azure OpenAI で埋め込みを生成する方法を参照してください。
次の図は、Microsoft AI サービスを使用した技術アーキテクチャを示しています。
たとえばノートブックを使用して、注釈付きの結果の状況検索を含めたり、カスタム UI Web ツールや AD 開発者向け Copilot に統合して、関連する状況を選択して抽出したりできます。