Načítání videa pomocí vektorizace (verze 4.0 Preview)

Článek
09/02/2024

Rozhraní API pro načítání videí Azure AI jsou součástí služby Azure AI Vision a umožňují vývojářům vytvářet indexy, přidávat do něj dokumenty (videa a obrázky) a vyhledávat v přirozeném jazyce. Vývojáři můžou definovat schémata metadat pro každý index a ingestovat metadata do služby, aby pomohli s načtením. Vývojáři také můžou určit, které funkce se mají extrahovat z indexu (zraku, řeči) a filtrovat vyhledávání na základě funkcí.

Požadavky

Předplatné Azure – Vytvořte si ho zdarma.
Jakmile budete mít předplatné Azure, vytvořte prostředek Vision pomocí portálu. Pro tuto verzi Preview musíte prostředek vytvořit v jedné z následujících oblastí – Austrálie – východ, Švýcarsko – sever, Švédsko – střed nebo USA – východ.
Prostředek Azure Storage – Vytvoření prostředku

Požadavky na vstup

Podporované formáty

File format	Popis
`asf`	ASF (rozšířený / aktivní formát streamování)
`avi`	AVI (Audio Video Interleaved)
`flv`	FLV (Flash Video)
`matroskamm`, `webm`	Matroska / WebM
`mov`,`mp4`,`m4a`,`3gp`,,`3g2mj2`	QuickTime / MOV

Podporované videokodeky

Kodek	Formát
`h264`	H.264 / AVC / MPEG-4 AVC / MPEG-4 část 10
`h265`	H.265/HEVC
`libvpx-vp9`	libvpx VP9 (kodek vp9)
`mpeg4`	MPEG-4 část 2

Podporované zvukové kodeky

Kodek	Formát
`aac`	AAC (pokročilé kódování zvuku)
`mp3`	MP3 (mpeg audio layer 3)
`pcm`	PCM (nekomprimované)
`vorbis`	Vorbis
`wmav2`	Windows Media Audio 2

Volání rozhraní API pro načítání videa

Pokud chcete rozhraní API pro načítání videa používat v typickém vzoru, postupujte následovně:

Vytvoření indexu pomocí put – vytvoření indexu
Přidejte do indexu video dokumenty pomocí put - CreateIngestion.
Počkejte, až se příjem dat dokončí, zkontrolujte pomocí get – ListIngestions.
Vyhledejte klíčové slovo nebo frázi pomocí post - SearchByText.

Použití rozhraní API pro načítání videa pro vyhledávání na základě metadat

Rozhraní API pro načítání videa umožňují uživateli přidávat metadata do videosouborů. Metadata jsou další informace přidružené k videosouborům, jako je "ID fotoaparátu", "Časové razítko" nebo "Umístění", které lze použít k uspořádání, filtrování a vyhledávání konkrétních videí. Tento příklad ukazuje, jak vytvořit index, přidat videosoubory s přidruženými metadaty a provádět vyhledávání pomocí různých funkcí.

Krok 1: Vytvoření indexu

Abyste mohli začít, musíte vytvořit index pro ukládání a uspořádání videosouborů a jejich metadat. Následující příklad ukazuje, jak vytvořit index s názvem my-video-index pomocí rozhraní API pro vytvoření indexu.

curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'metadataSchema': {
    'fields': [
      {
        'name': 'cameraId',
        'searchable': false,
        'filterable': true,
        'type': 'string'
      },
      {
        'name': 'timestamp',
        'searchable': false,
        'filterable': true,
        'type': 'datetime'
      }
    ]
  },
  'features': [
    {
      'name': 'vision',
      'domain': 'surveillance'
    },
    {
      'name': 'speech'
    }
  ]
}"

Odpověď:

HTTP/1.1 201 Created
Content-Length: 530
Content-Type: application/json; charset=utf-8
request-id: cb036529-d1cf-4b44-a1ef-0a4e9fc62885
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 202
Date: Thu, 06 Jul 2023 18:05:05 GMT
Connection: close

{
  "name": "my-video-index",
  "metadataSchema": {
    "language": "en",
    "fields": [
      {
        "name": "cameraid",
        "searchable": false,
        "filterable": true,
        "type": "string"
      },
      {
        "name": "timestamp",
        "searchable": false,
        "filterable": true,
        "type": "datetime"
      }
    ]
  },
  "userData": {},
  "features": [
    {
      "name": "vision",
      "modelVersion": "2023-05-31",
      "domain": "surveillance"
    },
    {
      "name": "speech",
      "modelVersion": "2023-06-30",
      "domain": "generic"
    }
  ],
  "eTag": "\"7966244a79384cca9880d67a4daa9eb1\"",
  "createdDateTime": "2023-07-06T18:05:06.7582534Z",
  "lastModifiedDateTime": "2023-07-06T18:05:06.7582534Z"
}

Krok 2: Přidání videosouborů do indexu

Dále můžete do indexu přidat videosoubory s přidruženými metadaty. Následující příklad ukazuje, jak do indexu přidat dva videosoubory pomocí adres URL SAS s rozhraním API pro vytváření příjmu dat .

curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions/my-ingestion?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'videos': [
    {
      'mode': 'add',
      'documentId': '02a504c9cd28296a8b74394ed7488045',
      'documentUrl': 'https://example.blob.core.windows.net/videos/02a504c9cd28296a8b74394ed7488045.mp4?sas_token_here',
      'metadata': {
        'cameraId': 'camera1',
        'timestamp': '2023-06-30 17:40:33'
      }
    },
    {
      'mode': 'add',
      'documentId': '043ad56daad86cdaa6e493aa11ebdab3',
      'documentUrl': '[https://example.blob.core.windows.net/videos/043ad56daad86cdaa6e493aa11ebdab3.mp4?sas_token_here',
      'metadata': {
        'cameraId': 'camera2'
      }
    }
  ]
}"

Odpověď:

HTTP/1.1 202 Accepted
Content-Length: 152
Content-Type: application/json; charset=utf-8
request-id: ee5e48df-13f8-4a87-a337-026947144321
operation-location: http://api.example.com.trafficmanager.net/retrieval/indexes/my-test-index/ingestions/my-ingestion
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 709
Date: Thu, 06 Jul 2023 18:15:34 GMT
Connection: close

{
  "name": "my-ingestion",
  "state": "Running",
  "createdDateTime": "2023-07-06T18:15:33.8105687Z",
  "lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
}

Krok 3: Počkejte na dokončení příjmu dat

Po přidání videosouborů do indexu se spustí proces příjmu dat. V závislosti na velikosti a počtu souborů může nějakou dobu trvat. Abyste se ujistili, že je příjem dat dokončený před vyhledáváním, můžete stav zkontrolovat pomocí rozhraní API pro příjem dat. Než budete pokračovat k dalšímu kroku, počkejte, než se tento hovor vrátí "state" = "Completed" .

curl.exe -v -X GET "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions?api-version=2023-05-01-preview&$top=20" -H "ocp-apim-subscription-key: <YOUR_SUBSCRIPTION_KEY>"

Odpověď:

HTTP/1.1 200 OK
Content-Length: 164
Content-Type: application/json; charset=utf-8
request-id: 4907feaf-88f1-4009-a1a5-ad366f04ee31
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 12
Date: Thu, 06 Jul 2023 18:17:47 GMT
Connection: close

{
  "value": [
    {
      "name": "my-ingestion",
      "state": "Completed",
      "createdDateTime": "2023-07-06T18:15:33.8105687Z",
      "lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
    }
  ]
}

Krok 4: Vyhledávání s metadaty

Po přidání videosouborů do indexu můžete vyhledat konkrétní videa pomocí metadat. Tento příklad ukazuje dva typy hledání: jeden pomocí funkce "vize" a druhý pomocí funkce "řeč".

Hledání pomocí funkce "vision"

Pokud chcete vyhledávání provést pomocí funkce "vision", použijte rozhraní API pro vyhledávání podle textu s vision filtrem, zadejte text dotazu a všechny další požadované filtry.

curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'queryText': 'a man with black hoodie',
  'filters': {
    'stringFilters': [
      {
        'fieldName': 'cameraId',
        'values': [
          'camera1'
        ]
      }
    ],
    'featureFilters': ['vision']
  }
}"

Odpověď:

HTTP/1.1 200 OK
Content-Length: 3289
Content-Type: application/json; charset=utf-8
request-id: 4c2477df-d89d-4a98-b433-611083324a3f
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 233
Date: Thu, 06 Jul 2023 18:42:08 GMT
Connection: close

{
  "value": [
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:01:58",
      "end": "00:02:09",
      "best": "00:02:03",
      "relevance": 0.23974405229091644
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:02:27",
      "end": "00:02:29",
      "best": "00:02:27",
      "relevance": 0.23762696981430054
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "VideoFrame",
      "start": "00:00:26",
      "end": "00:00:27",
      "best": "00:00:26",
      "relevance": 0.23250913619995117
    },
  ]
}

Vyhledávání pomocí funkce "řeč"

Pokud chcete vyhledávání provést pomocí funkce "řeč", použijte rozhraní API pro vyhledávání podle textu s filtrem speech a zadejte text dotazu a všechny další požadované filtry.

curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>com/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
  'queryText': 'leave the area',
  'dedup': false,
  'filters': {
    'stringFilters': [
      {
        'fieldName': 'cameraId',
        'values': [
          'camera1'
        ]
      }
    ],
    'featureFilters': ['speech']
  }
}"

Odpověď:

HTTP/1.1 200 OK
Content-Length: 49001
Content-Type: application/json; charset=utf-8
request-id: b54577bb-1f46-44d8-9a91-c9326df3ac23
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 148
Date: Thu, 06 Jul 2023 18:43:07 GMT
Connection: close

{
  "value": [
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:07.8400000",
      "end": "00:07:08.4400000",
      "best": "00:07:07.8400000",
      "relevance": 0.8597901463508606
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:02.0400000",
      "end": "00:07:03.0400000",
      "best": "00:07:02.0400000",
      "relevance": 0.8506758213043213
    },
    {
      "documentId": "02a504c9cd28296a8b74394ed7488045",
      "documentKind": "SpeechTextSegment",
      "start": "00:07:10.4400000",
      "end": "00:07:11.5200000",
      "best": "00:07:10.4400000",
      "relevance": 0.8474636673927307
    }
  ]
}

Další kroky

Koncepty multimodálních vkládání

Sdílet prostřednictvím

Načítání videa pomocí vektorizace (verze 4.0 Preview)

Požadavky

Požadavky na vstup

Podporované formáty

Podporované videokodeky

Podporované zvukové kodeky

Volání rozhraní API pro načítání videa

Použití rozhraní API pro načítání videa pro vyhledávání na základě metadat

Krok 1: Vytvoření indexu

Krok 2: Přidání videosouborů do indexu

Krok 3: Počkejte na dokončení příjmu dat

Krok 4: Vyhledávání s metadaty

Hledání pomocí funkce "vision"

Vyhledávání pomocí funkce "řeč"

Další kroky

Váš názor

Další materiály