Wykonywanie pobierania wideo przy użyciu wektoryzacji (wersja zapoznawcza 4.0)

Artykuł
10/16/2024

Interfejsy API pobierania wideo usługi Azure AI są częścią usługi Azure AI Vision i umożliwiają deweloperom tworzenie indeksu, dodawanie do niego dokumentów (wideo i obrazów) oraz wyszukiwanie za pomocą języka naturalnego. Deweloperzy mogą definiować schematy metadanych dla każdego indeksu i pozyskiwać metadane do usługi, aby ułatwić pobieranie. Deweloperzy mogą również określić, jakie funkcje mają być wyodrębnione z indeksu (wizja, mowa) i filtrować wyszukiwanie na podstawie funkcji.

Wymagania wstępne

Subskrypcja platformy Azure — utwórz jedną bezpłatnie.
Po utworzeniu subskrypcji platformy Azure utwórz zasób usługi Vision przy użyciu portalu. W tej wersji zapoznawczej musisz utworzyć zasób w jednym z następujących regionów — Australia Wschodnia, Szwajcaria Północna, Szwecja Środkowa lub Wschodnie stany USA.
Zasób usługi Azure Storage — tworzenie jednego

Wymagania dotyczące danych wejściowych

Obsługiwane formaty

File format	opis
`asf`	ASF (zaawansowany/aktywny format przesyłania strumieniowego)
`avi`	AVI (Audio Video Przeplatane)
`flv`	USB (Flash Video)
`matroskamm`, `webm`	Matroska / WebM
`mov`,`mp4`,`m4a`,`3gp`,`3g2`,`mj2`	QuickTime / MOV

Obsługiwane koderki wideo

Koder-dekoder	Formatuj
`h264`	H.264 / AVC / MPEG-4 AVC / MPEG-4 część 10
`h265`	H.265/HEVC
`libvpx-vp9`	libvpx VP9 (codec vp9)
`mpeg4`	MPEG-4, część 2

Obsługiwane koderki audio

Koder-dekoder	Formatuj
`aac`	AAC (zaawansowane kodowanie audio)
`mp3`	MP3 (MPEG audio layer 3)
`pcm`	PCM (nieskompresowany)
`vorbis`	Vorbis
`wmav2`	Windows Media Audio 2

Wywoływanie interfejsów API pobierania wideo

Aby użyć interfejsów API pobierania wideo w typowym wzorcu, wykonaj następujące czynności:

Tworzenie indeksu przy użyciu funkcji PUT — tworzenie indeksu.
Dodaj dokumenty wideo do indeksu przy użyciu funkcji PUT — CreateIngestion.
Poczekaj na zakończenie pozyskiwania, sprawdzając polecenie GET — ListIngestions.
Wyszukaj słowo kluczowe lub frazę przy użyciu funkcji POST — SearchByText.

Korzystanie z interfejsów API pobierania wideo na potrzeby wyszukiwania opartego na metadanych

Interfejsy API pobierania wideo umożliwiają użytkownikowi dodawanie metadanych do plików wideo. Metadane to dodatkowe informacje skojarzone z plikami wideo, takimi jak "Identyfikator aparatu", "Sygnatura czasowa" lub "Lokalizacja", których można użyć do organizowania, filtrowania i wyszukiwania określonych filmów wideo. W tym przykładzie pokazano, jak utworzyć indeks, dodać pliki wideo ze skojarzonymi metadanymi i przeprowadzić wyszukiwanie przy użyciu różnych funkcji.

Krok 1. Tworzenie indeksu

Aby rozpocząć, należy utworzyć indeks do przechowywania i organizowania plików wideo i ich metadanych. W poniższym przykładzie pokazano, jak utworzyć indeks o nazwie "my-video-index" przy użyciu interfejsu API tworzenia indeksu.

curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'metadataSchema': {
    'fields': [
      {
        'name': 'cameraId',
        'searchable': false,
        'filterable': true,
        'type': 'string'
      },
      {
        'name': 'timestamp',
        'searchable': false,
        'filterable': true,
        'type': 'datetime'
      }
    ]
  },
  'features': [
    {
      'name': 'vision',
      'domain': 'surveillance'
    },
    {
      'name': 'speech'
    }
  ]
}"

Odpowiedź:

HTTP/1.1 201 Created
Content-Length: 530
Content-Type: application/json; charset=utf-8
request-id: cb036529-d1cf-4b44-a1ef-0a4e9fc62885
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 202
Date: Thu, 06 Jul 2023 18:05:05 GMT
Connection: close

{
  "name": "my-video-index",
  "metadataSchema": {
    "language": "en",
    "fields": [
      {
        "name": "cameraid",
        "searchable": false,
        "filterable": true,
        "type": "string"
      },
      {
        "name": "timestamp",
        "searchable": false,
        "filterable": true,
        "type": "datetime"
      }
    ]
  },
  "userData": {},
  "features": [
    {
      "name": "vision",
      "modelVersion": "2023-05-31",
      "domain": "surveillance"
    },
    {
      "name": "speech",
      "modelVersion": "2023-06-30",
      "domain": "generic"
    }
  ],
  "eTag": "\"7966244a79384cca9880d67a4daa9eb1\"",
  "createdDateTime": "2023-07-06T18:05:06.7582534Z",
  "lastModifiedDateTime": "2023-07-06T18:05:06.7582534Z"
}

Krok 2. Dodawanie plików wideo do indeksu

Następnie możesz dodać pliki wideo do indeksu z skojarzonymi metadanymi. W poniższym przykładzie pokazano, jak dodać dwa pliki wideo do indeksu przy użyciu adresów URL sygnatur dostępu współdzielonego za pomocą interfejsu API tworzenia pozyskiwania .

curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions/my-ingestion?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'videos': [
    {
      'mode': 'add',
      'documentId': '02a504c9cd28296a8b74394ed7488045',
      'documentUrl': 'https://example.blob.core.windows.net/videos/02a504c9cd28296a8b74394ed7488045.mp4?sas_token_here',
      'metadata': {
        'cameraId': 'camera1',
        'timestamp': '2023-06-30 17:40:33'
      }
    },
    {
      'mode': 'add',
      'documentId': '043ad56daad86cdaa6e493aa11ebdab3',
      'documentUrl': '[https://example.blob.core.windows.net/videos/043ad56daad86cdaa6e493aa11ebdab3.mp4?sas_token_here',
      'metadata': {
        'cameraId': 'camera2'
      }
    }
  ]
}"

Odpowiedź:

HTTP/1.1 202 Accepted
Content-Length: 152
Content-Type: application/json; charset=utf-8
request-id: ee5e48df-13f8-4a87-a337-026947144321
operation-location: http://api.example.com.trafficmanager.net/retrieval/indexes/my-test-index/ingestions/my-ingestion
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 709
Date: Thu, 06 Jul 2023 18:15:34 GMT
Connection: close

{
  "name": "my-ingestion",
  "state": "Running",
  "createdDateTime": "2023-07-06T18:15:33.8105687Z",
  "lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
}

Krok 3. Oczekiwanie na zakończenie pozyskiwania

Po dodaniu plików wideo do indeksu rozpocznie się proces pozyskiwania. Może upłynąć trochę czasu w zależności od rozmiaru i liczby plików. Aby upewnić się, że pozyskiwanie zostało ukończone przed wykonaniem wyszukiwania, możesz użyć interfejsu API pobierania pozyskiwania , aby sprawdzić stan. Poczekaj na powrót "state" = "Completed" tego wywołania przed przejściem do następnego kroku.

curl.exe -v -X GET "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions?api-version=2023-05-01-preview&$top=20" -H "ocp-apim-subscription-key: <YOUR_SUBSCRIPTION_KEY>"

Odpowiedź:

HTTP/1.1 200 OK
Content-Length: 164
Content-Type: application/json; charset=utf-8
request-id: 4907feaf-88f1-4009-a1a5-ad366f04ee31
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 12
Date: Thu, 06 Jul 2023 18:17:47 GMT
Connection: close

{
  "value": [
    {
      "name": "my-ingestion",
      "state": "Completed",
      "createdDateTime": "2023-07-06T18:15:33.8105687Z",
      "lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
    }
  ]
}

Krok 4. Wykonywanie wyszukiwań za pomocą metadanych

Po dodaniu plików wideo do indeksu możesz wyszukać określone wideo przy użyciu metadanych. W tym przykładzie pokazano dwa typy wyszukiwań: jedno przy użyciu funkcji "vision" i drugie przy użyciu funkcji "mowa".

Wyszukiwanie za pomocą funkcji "vision"

Aby przeprowadzić wyszukiwanie przy użyciu funkcji "vision", użyj interfejsu API Wyszukiwania według tekstu z filtrem vision , określając tekst zapytania i wszelkie inne żądane filtry.

curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'queryText': 'a man with black hoodie',
  'filters': {
    'stringFilters': [
      {
        'fieldName': 'cameraId',
        'values': [
          'camera1'
        ]
      }
    ],
    'featureFilters': ['vision']
  }
}"

Odpowiedź:

HTTP/1.1 200 OK
Content-Length: 3289
Content-Type: application/json; charset=utf-8
request-id: 4c2477df-d89d-4a98-b433-611083324a3f
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 233
Date: Thu, 06 Jul 2023 18:42:08 GMT
Connection: close

{
  "value": [
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:01:58",
      "end": "00:02:09",
      "best": "00:02:03",
      "relevance": 0.23974405229091644
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:02:27",
      "end": "00:02:29",
      "best": "00:02:27",
      "relevance": 0.23762696981430054
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:00:26",
      "end": "00:00:27",
      "best": "00:00:26",
      "relevance": 0.23250913619995117
    },
  ]
}

Wyszukiwanie za pomocą funkcji "mowa"

Aby przeprowadzić wyszukiwanie przy użyciu funkcji "mowa", użyj interfejsu API wyszukiwania według tekstu z filtrem speech , podając tekst zapytania i inne żądane filtry.

curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>com/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'queryText': 'leave the area',
  'dedup': false,
  'filters': {
    'stringFilters': [
      {
        'fieldName': 'cameraId',
        'values': [
          'camera1'
        ]
      }
    ],
    'featureFilters': ['speech']
  }
}"

Odpowiedź:

HTTP/1.1 200 OK
Content-Length: 49001
Content-Type: application/json; charset=utf-8
request-id: b54577bb-1f46-44d8-9a91-c9326df3ac23
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 148
Date: Thu, 06 Jul 2023 18:43:07 GMT
Connection: close

{
  "value": [
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:07.8400000",
      "end": "00:07:08.4400000",
      "best": "00:07:07.8400000",
      "relevance": 0.8597901463508606
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:02.0400000",
      "end": "00:07:03.0400000",
      "best": "00:07:02.0400000",
      "relevance": 0.8506758213043213
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:10.4400000",
      "end": "00:07:11.5200000",
      "best": "00:07:10.4400000",
      "relevance": 0.8474636673927307
    }
  ]
}

Następne kroki

Pojęcia dotyczące osadzania wielomodalnego

Udostępnij za pośrednictwem

Wykonywanie pobierania wideo przy użyciu wektoryzacji (wersja zapoznawcza 4.0)

Wymagania wstępne

Wymagania dotyczące danych wejściowych

Obsługiwane formaty

Obsługiwane koderki wideo

Obsługiwane koderki audio

Wywoływanie interfejsów API pobierania wideo

Korzystanie z interfejsów API pobierania wideo na potrzeby wyszukiwania opartego na metadanych

Krok 1. Tworzenie indeksu

Krok 2. Dodawanie plików wideo do indeksu

Krok 3. Oczekiwanie na zakończenie pozyskiwania

Krok 4. Wykonywanie wyszukiwań za pomocą metadanych

Wyszukiwanie za pomocą funkcji "vision"

Wyszukiwanie za pomocą funkcji "mowa"

Następne kroki

Opinia

Dodatkowe zasoby