Búsqueda e identificación semántica
Hoy en día, las anotaciones automáticas suelen ser un proceso semiautomático en toda la industria automotriz. El proceso requiere que se transmita material de vídeo o imagen a través de servicios que intentan detectar automáticamente objetos como señales de tráfico o descripciones de escenas, por ejemplo, adelantando a un vehículo en las imágenes o fotogramas. Los objetos son esenciales para identificar escenarios relevantes para el entrenamiento y la validación de la pila de percepción autónoma. Debido a estos diversos factores, todo el proceso se vuelve engorroso.
Para mejorar el proceso, es importante una base de gestión de datos como la que se detalla en la arquitectura de referencia de DataOps. Esta base permite la indexación, anotación, búsqueda y selección de conjuntos de datos relevantes utilizados para el entrenamiento de modelos de visión por computadora necesarios para la conducción autónoma. La búsqueda y las incrustaciones de vectores pueden ayudar a identificar escenas y escenarios relevantes que se anotan para los procesos posteriores de aprendizaje y validación. Puede realizar revisiones manuales y mejorar los procesos para centrarse en cargas de trabajo para escenas importantes.
El siguiente diagrama muestra el flujo de trabajo para admitir este escenario:
El flujo de trabajo comienza con grabaciones reales de vehículos. Las grabaciones también ayudan a generar escenarios sintéticos en una etapa posterior a partir de escenas identificadas. El servicio Azure AI Vision anota automáticamente las grabaciones para detectar objetos y comprender los fotogramas grabados para la cámara y las imágenes.
El vehículo y las cámaras especialmente equipadas ya proporcionan información como, por ejemplo, el cambio de carril.
Se combinan diferentes flujos de señales, como cámara, telemetría CAN y ubicaciones, para identificar y capturar escenas y comprender los objetos contenidos. Por ejemplo, nos asociamos con Tata Consultancy Services para mejorar la anotación automática generada por el servicio Azure AI Vision con detección de escenas basada en CAN, consulte Dando vida a vehículos inteligentes y sostenibles.
El servicio Azure OpenAI recibe información para generar incrustaciones como preparación para búsquedas de escenas semánticas y basadas en vectores. Generar inserción es el proceso de convertir texto en un vector denso de números de punto flotante, que denotan una representación de datos para que los modelos y algoritmos aprendizaje automático los utilicen fácilmente. Para más detalles, consulte Aprenda a generar inserciones con Azure OpenAI.
El siguiente diagrama muestra la arquitectura técnica que utiliza los servicios de IA de Microsoft:
Puede realizar la búsqueda de escenas, inclusión de resultados anotados utilizando, por ejemplo, un cuaderno, o integrarlos en herramientas web de interfaz de usuario personalizadas o Copilot para que los desarrolladores de AD seleccionen y extraigan escenas relevantes.