Übung: Verräumlichen von Audiodaten aus einem Video

  • 3 Minuten

In dieser Lektion erfahren Sie, wie Sie Audiodaten von einer Videoquelle räumlich wiedergeben und im Unity-Editor und in HoloLens 2 testen.

Importieren eines Videos und Hinzufügen eines Videoplayers zur Szene

Für diese Lektion können Sie dieses Video aus dem Beispielprojekt zur räumlichen Audiowiedergabe verwenden.

  1. Um das Video in das Unity-Projekt zu importieren, wählen Sie im Unity-Menü die Option Objekt>Neues Objekt importieren aus.

    Screenshot of Importing Asset.

  2. Wählen Sie im Fenster Neues Objekt importieren... die Datei Microsoft HoloLens – Spatial Sound-PTPvx7mDon4 aus, die Sie heruntergeladen haben, und wählen Sie die Schaltfläche Öffnen aus, um das Objekt in das Projekt zu importieren.

    Screenshot of Selecting Asset.

  3. Durch Anpassen der Qualitätseinstellungen für den Videoclip kann eine ruckelfreie Wiedergabe auf HoloLens 2 sichergestellt werden. Wählen Sie die Videodatei im Fenster Projekt aus. Wählen Sie im Fenster „Inspector“ die Registerkarte Windows aus, aktivieren Sie das Kontrollkästchen für Außerkraftsetzung für Windows, und konfigurieren Sie die restlichen Einstellungen wie folgt:

    1. Aktivieren Sie das Kontrollkästchen für Transcodieren.
    2. Legen Sie Codec auf H264 fest.
    3. Legen Sie Bitratenmodus auf Niedrig fest.
    4. Legen Sie Räumliche Qualität auf Mittlere räumliche Qualität fest.

  4. Wählen Sie Übernehmen aus, um die Qualitätseinstellung für den Videoclip zu ändern.

    Screenshot of Video property Change.

  5. Klicken Sie mit der rechten Maustaste in das Hierarchiefenster, und wählen Sie dann Video>Videoplayer aus, um die Komponente „Videoplayer“ hinzuzufügen.

    Screenshot of adding a Video Player.

Wiedergeben eines Videos auf einem Quadrangle

Zum Rendern des Videos ist für das Objekt Video Player (Videoplayer) ein texturiertes Spielobjekt erforderlich.

  1. Klicken Sie mit der rechten Maustaste in das Fenster „Hierarchie“, wählen Sie dann 3D-Objekt>Quad aus, um ein Quad zu erstellen und dessen Komponente Transformation wie folgt zu konfigurieren:

    • Position: X = 0, Y = 2,1, Z = 2
    • Drehung: X = 0, Y = 0, Z = 0
    • Skalierung: X = 1,28, Y = 0,72, Z = 1

    Screenshot of adding a Quad.

  2. Jetzt müssen Sie das Quad mit dem Video texturieren. Klicken Sie mit der rechten Maustaste in das Fenster Projekt, und wählen Sie Erstellen>Rendertextur aus, um eine Komponente „Rendertextur“ zu erstellen. Geben Sie einen geeigneten Namen für die Rendertextur ein, zum Beispiel: Räumliche Audiowiedergabetextur.

    Screenshot of creating a Render Texture.

  3. Wählen Sie die Rendertextur aus, und legen Sie im Fenster „Inspector“ die Eigenschaft Größe entsprechend der nativen Auflösung des Video von 1280 x 720 fest. Legen Sie dann die Eigenschaft Tiefenschablonenformat auf D16_UNORM oder höher fest, um eine gute Renderingleistung auf HoloLens 2 zu sicherzustellen.

    Screenshot of Render Texture properties.

  4. Verwenden Sie als Nächstes die erstellte Rendertextur Spatial Audio Texture (Textur der räumlichen Audiowiedergabe) als Textur für das Quadrangle:

    1. Ziehen Sie die Räumliche Audiowiedergabetextur aus dem Fenster Projekt auf das Quad im Bereich „Hierarchie“, um dem Quad die Rendertextur hinzuzufügen.
    2. Um eine gute Leistung für HoloLens 2 sicherzustellen, wählen Sie das Quad im Bereich „Hierarchie“ aus, und im Fenster „Inspector“ wählen Sie im Feld Shader die Option Grafiktools>Standard aus.

    Screenshot of Quad texture properties.

  5. Um Videoplayer und Rendertextur für die Wiedergabe des Videoclips festzulegen, wählen Sie im Bereich Hierarchie den Videoplayer aus, und konfigurieren Sie die Einstellung im Fenster Inspector wie folgt:

    1. Legen Sie die Videoclip-Eigenschaft auf die heruntergeladene Videodatei fest: Microsoft HoloLens – Spatial Sound-PTPvx7mDon4.
    2. Aktivieren Sie das Kontrollkästchen Schleife.
    3. Legen Sie die Zieltextur auf Ihre neue Rendertextur Räumliche Audiowiedergabetextur fest.

    Screenshot of Video player properties.

Verräumlichen der Audiodaten aus dem Video

  1. Wählen Sie im Fenster „Hierarchy“ das Quad-Objekt aus. Verwenden Sie im Fenster „Inspector“ die Schaltfläche Komponente hinzufügen, um eine Audioquelle hinzuzufügen, an die Sie die Audiodaten aus dem Video weiterleiten.

  2. Führen Sie unter Audio Source (Audioquelle) folgende Schritte durch:

    1. Legen Sie für Ausgabe die Option Mixer für räumliche Audiowiedergabe>Master fest.
    2. Aktivieren Sie das Kontrollkästchens Räumlich wiedergeben.
    3. Verschieben Sie den Schieberegler Räumliche Mischung auf 1 (3D).

    Screenshot of Quad audio source inspector.

  3. Um den Videoplayer so festzulegen, dass er seine Audiodaten an die Audioquelle weiterleitet, wählen Sie den Videoplayer im Fenster „Hierarchie“ aus. Konfigurieren Sie im Fenster „Inspector“ das Objekt „Videoplayer“ wie folgt:

    1. Legen Sie für Audio Output Mode (Audioausgabemodus) die Option Audio Source (Audioquelle) fest.
    2. Legen Sie die Eigenschaft Audio Source (Audioquelle) auf Quad (Quadrangle) fest.

    Screenshot of setting the Video player audio source.