MediaCapture の形式、解像度、およびフレームレートの設定

[アーティクル]
07/14/2023

この記事では、IMediaEncodingProperties インターフェイスを使用して、カメラのプレビューストリームとキャプチャした写真/ビデオの解像度およびフレームレートを設定する方法を説明します。プレビューストリームの縦横比をキャプチャしたメディアの縦横比と一致させる方法についても説明します。

カメラプロファイルは、カメラのストリームプロパティを検出および設定するための高度な方法ですが、すべてのデバイスではサポートされていません。詳しくは、「カメラプロファイル」をご覧ください。

この記事のコードは、CameraResolution サンプルを基にしています。このサンプルをダウンロードし、該当するコンテキストで使用されているコードを確認することも、サンプルを独自のアプリの開始点として使用することもできます。

注意

この記事では、「MediaCapture を使用した基本的な写真、ビデオ、オーディオのキャプチャ」で説明されている概念とコードに基づいています。ここでは、基本的な写真とビデオのキャプチャを実装する手順について説明します。より高度なキャプチャシナリオに進む前に、その記事の基本的なメディアキャプチャパターンについて理解しておくことをお勧めします。この記事で紹介しているコードは、MediaCapture のインスタンスが既に作成され、適切に初期化されていることを前提としています。

メディアエンコードプロパティのヘルパークラス

IMediaEncodingProperties インターフェイスの機能をラップする単純なヘルパークラスを作成すると、特定の条件を満たす一連のエンコードプロパティを容易に選択できます。特に、エンコードプロパティの機能の次のような動作に対して、このヘルパークラスが便利です。

警告VideoDeviceController.GetAvailableMediaStreamProperties メソッドは、MediaStreamType 列挙値のメンバー (VideoRecord、Photo など) を受け取り、キャプチャした写真やビデオの解像度などのストリームエンコード設定を表す、ImageEncodingProperties オブジェクトや VideoEncodingProperties オブジェクトのリストを返します。指定された MediaStreamType 値に関係なく、GetAvailableMediaStreamProperties を呼び出した結果には、ImageEncodingProperties または VideoEncodingProperties が含まれている可能性があります。このため、いずれかのプロパティ値にアクセスする前に、常に各戻り値の型を確認し、適切な型にキャストする必要があります。

次に示すヘルパークラスでは、型の確認と ImageEncodingProperties または VideoEncodingProperties へのキャストを処理しています。これにより、アプリのコードでは、2 つの型を区別する必要がなくなります。これに加えて、ヘルパークラスは、プロパティの縦横比、フレームレート (ビデオエンコードプロパティの場合のみ)、アプリの UI でエンコードプロパティをわかりやすく表示するためのフレンドリ名を使用できるように、プロパティを公開します。

ヘルパークラスのソースファイルには、Windows.Media.MediaProperties 名前空間を含める必要があります。

using Windows.Media.MediaProperties;
using Windows.Media.Capture.Frames;

class StreamPropertiesHelper
{
    private IMediaEncodingProperties _properties;

    public StreamPropertiesHelper(IMediaEncodingProperties properties)
    {
        if (properties == null)
        {
            throw new ArgumentNullException(nameof(properties));
        }

        // This helper class only uses VideoEncodingProperties or VideoEncodingProperties
        if (!(properties is ImageEncodingProperties) && !(properties is VideoEncodingProperties))
        {
            throw new ArgumentException("Argument is of the wrong type. Required: " + typeof(ImageEncodingProperties).Name
                + " or " + typeof(VideoEncodingProperties).Name + ".", nameof(properties));
        }

        // Store the actual instance of the IMediaEncodingProperties for setting them later
        _properties = properties;
    }

    public uint Width
    {
        get
        {
            if (_properties is ImageEncodingProperties)
            {
                return (_properties as ImageEncodingProperties).Width;
            }
            else if (_properties is VideoEncodingProperties)
            {
                return (_properties as VideoEncodingProperties).Width;
            }

            return 0;
        }
    }

    public uint Height
    {
        get
        {
            if (_properties is ImageEncodingProperties)
            {
                return (_properties as ImageEncodingProperties).Height;
            }
            else if (_properties is VideoEncodingProperties)
            {
                return (_properties as VideoEncodingProperties).Height;
            }

            return 0;
        }
    }

    public uint FrameRate
    {
        get
        {
            if (_properties is VideoEncodingProperties)
            {
                if ((_properties as VideoEncodingProperties).FrameRate.Denominator != 0)
                {
                    return (_properties as VideoEncodingProperties).FrameRate.Numerator / 
                        (_properties as VideoEncodingProperties).FrameRate.Denominator;
                }
           }

            return 0;
        }
    }

    public double AspectRatio
    {
        get { return Math.Round((Height != 0) ? (Width / (double)Height) : double.NaN, 2); }
    }

    public IMediaEncodingProperties EncodingProperties
    {
        get { return _properties; }
    }

    public string GetFriendlyName(bool showFrameRate = true)
    {
        if (_properties is ImageEncodingProperties ||
            !showFrameRate)
        {
            return Width + "x" + Height + " [" + AspectRatio + "] " + _properties.Subtype;
        }
        else if (_properties is VideoEncodingProperties)
        {
            return Width + "x" + Height + " [" + AspectRatio + "] " + FrameRate + "FPS " + _properties.Subtype;
        }

        return String.Empty;
    }
    
}

プレビューストリームとキャプチャストリームの独立性の判断

デバイスによっては、プレビューストリームとキャプチャストリームに同じハードウェアピンが使用されることがあります。このようなデバイスでは、一方のエンコードプロパティを設定すると、他方も設定されます。キャプチャとプレビューに別々のハードウェアピンが使用されるデバイスでは、ストリームごとのプロパティを個々に設定できます。プレビューストリームとキャプチャストリームが独立しているかどうかを判断するには、次のコードを使用します。このテストの結果に基づいて UI を調整し、ストリームの設定を個々に有効化または無効化する必要があります。

private void CheckIfStreamsAreIdentical()
{
    if (_mediaCapture.MediaCaptureSettings.VideoDeviceCharacteristic == VideoDeviceCharacteristic.AllStreamsIdentical ||
        _mediaCapture.MediaCaptureSettings.VideoDeviceCharacteristic == VideoDeviceCharacteristic.PreviewRecordStreamsIdentical)
    {
        ShowMessageToUser("Preview and video streams for this device are identical. Changing one will affect the other");
    }
}

利用可能なストリームプロパティのリストの取得

キャプチャデバイスについて利用可能なストリームプロパティのリストを取得するには、アプリの MediaCapture オブジェクトの VideoDeviceController を取得し、GetAvailableMediaStreamProperties を呼び出して、いずれか 1 つの MediaStreamType 値 (VideoPreview、VideoRecord、Photo) を渡します。この例では、GetAvailableMediaStreamProperties から返されたそれぞれの IMediaEncodingProperties 値に対し、この記事で定義した StreamPropertiesHelper オブジェクトのリストを Linq 構文で作成しています。この例では、まず Linq 拡張メソッドを使用して、返されたプロパティを解像度順のフレームレート順に並べ替えます。

アプリに、解像度またはフレームレートに関する特定の要件がある場合は、メディアエンコードプロパティのセットをプログラムで選択できます。一般的なカメラアプリでは、目的の設定をユーザーが選択できるように、利用可能なプロパティのリストが UI で公開されます。 StreamPropertiesHelper オブジェクトのリストにある各項目に対して、ComboBoxItem が作成されます。コンテンツは、ヘルパークラスから返されたフレンドリ名に設定されています。タグは、関連付けられているエンコードプロパティを後で取得できるように、ヘルパークラス自体に設定されています。次に、メソッドに渡された ComboBox に、各 ComboBoxItem が追加されます。

private void PopulateStreamPropertiesUI(MediaStreamType streamType, ComboBox comboBox, bool showFrameRate = true)
{
    // Query all properties of the specified stream type 
    IEnumerable<StreamPropertiesHelper> allStreamProperties = 
        _mediaCapture.VideoDeviceController.GetAvailableMediaStreamProperties(streamType).Select(x => new StreamPropertiesHelper(x));

    // Order them by resolution then frame rate
    allStreamProperties = allStreamProperties.OrderByDescending(x => x.Height * x.Width).ThenByDescending(x => x.FrameRate);

    // Populate the combo box with the entries
    foreach (var property in allStreamProperties)
    {
        ComboBoxItem comboBoxItem = new ComboBoxItem();
        comboBoxItem.Content = property.GetFriendlyName(showFrameRate);
        comboBoxItem.Tag = property;
        comboBox.Items.Add(comboBoxItem);
    }
}

目的のストリームプロパティを設定する

目的のエンコードプロパティを使用するようにビデオデバイスのコントローラーに指示するには、SetMediaStreamPropertiesAsync を呼び出します。このとき、写真、ビデオ、プレビューのうち、どのプロパティを設定するかを示す MediaStreamType 値を渡します。この例では、PopulateStreamPropertiesUI ヘルパーメソッドによって設定されたいずれかの ComboBox オブジェクトからユーザーが項目を選択すると、要求されたエンコードプロパティが設定されます。

private async void PreviewSettings_Changed(object sender, RoutedEventArgs e)
{
    if (_isPreviewing)
    {
        var selectedItem = (sender as ComboBox).SelectedItem as ComboBoxItem;
        var encodingProperties = (selectedItem.Tag as StreamPropertiesHelper).EncodingProperties;
        await _mediaCapture.VideoDeviceController.SetMediaStreamPropertiesAsync(MediaStreamType.VideoPreview, encodingProperties);
    }
}

private async void PhotoSettings_Changed(object sender, RoutedEventArgs e)
{
    if (_isPreviewing)
    {
        var selectedItem = (sender as ComboBox).SelectedItem as ComboBoxItem;
        var encodingProperties = (selectedItem.Tag as StreamPropertiesHelper).EncodingProperties;
        await _mediaCapture.VideoDeviceController.SetMediaStreamPropertiesAsync(MediaStreamType.Photo, encodingProperties);
    }
}

private async void VideoSettings_Changed(object sender, RoutedEventArgs e)
{
    if (_isPreviewing)
    {
        var selectedItem = (sender as ComboBox).SelectedItem as ComboBoxItem;
        var encodingProperties = (selectedItem.Tag as StreamPropertiesHelper).EncodingProperties;
        await _mediaCapture.VideoDeviceController.SetMediaStreamPropertiesAsync(MediaStreamType.VideoRecord, encodingProperties);
    }
}

プレビューとキャプチャストリームの縦横比を一致させる

一般的なカメラアプリでは、ユーザーがビデオや写真のキャプチャ解像度を選択するための UI を提供することも、プログラムによってプレビュー解像度を設定することもあります。アプリの最適なプレビューストリーム解像度を選択するための方法はいくつかあります。

UI フレームワークで必要なプレビューのスケーリングを実行できるように、利用可能な最高のプレビュー解像度を選択します。
最終的にキャプチャされたメディアに最も近い表現がプレビューに表示されるように、キャプチャ解像度に最も近いプレビュー解像度を選択します。
必要以上のピクセルがプレビューストリームパイプラインを通過しないように、CaptureElement のサイズに最も近いプレビュー解像度を選択します。

重要デバイスによっては、カメラのプレビューストリームとキャプチャストリームで別々の縦横比を設定することも可能です。この不一致によってフレームのトリミングが生じた場合、プレビューで表示されなかったコンテンツがキャプチャしたメディアに存在するという結果を招く可能性があり、これは否定的なユーザーエクスペリエンスにつながります。プレビューストリームとキャプチャストリームには、微小な公差範囲内で同一の縦横比を使用することを強くお勧めします。縦横比がほぼ一致していれば、キャプチャとプレビューにまったく異なる解像度を有効にしても問題ありません。

写真やビデオのキャプチャストリームをプレビューストリームの縦横比に一致させるために、この例では VideoDeviceController.GetMediaStreamProperties を呼び出し、VideoPreview 列挙値を渡して、プレビューストリームの現在のストリームプロパティを要求しています。次に、プレビューストリームとまったく同じでなくても、近似値であれば、その縦横比を許容できるように、縦横比の微小な公差範囲を定義しています。次に、プレビューストリームについて定義済みの公差範囲に縦横比が含まれるような StreamPropertiesHelper オブジェクトだけを選択できるように、Linq 拡張メソッドが使用されています。

private void MatchPreviewAspectRatio(MediaStreamType streamType, ComboBox comboBox)
{
    // Query all properties of the specified stream type
    IEnumerable<StreamPropertiesHelper> allVideoProperties = 
        _mediaCapture.VideoDeviceController.GetAvailableMediaStreamProperties(streamType).Select(x => new StreamPropertiesHelper(x));

    // Query the current preview settings
    StreamPropertiesHelper previewProperties = new StreamPropertiesHelper(_mediaCapture.VideoDeviceController.GetMediaStreamProperties(MediaStreamType.VideoPreview));

    // Get all formats that have the same-ish aspect ratio as the preview
    // Allow for some tolerance in the aspect ratio comparison
    const double ASPECT_RATIO_TOLERANCE = 0.015;
    var matchingFormats = allVideoProperties.Where(x => Math.Abs(x.AspectRatio - previewProperties.AspectRatio) < ASPECT_RATIO_TOLERANCE);

    // Order them by resolution then frame rate
    allVideoProperties = matchingFormats.OrderByDescending(x => x.Height * x.Width).ThenByDescending(x => x.FrameRate);

    // Clear out old entries and populate the video combo box with new matching entries
    comboBox.Items.Clear();
    foreach (var property in allVideoProperties)
    {
        ComboBoxItem comboBoxItem = new ComboBoxItem();
        comboBoxItem.Content = property.GetFriendlyName();
        comboBoxItem.Tag = property;
        comboBox.Items.Add(comboBoxItem);
    }
    comboBox.SelectedIndex = -1;
}

次の方法で共有

MediaCapture の形式、解像度、およびフレームレートの設定

メディアエンコードプロパティのヘルパークラス

プレビューストリームとキャプチャストリームの独立性の判断

利用可能なストリームプロパティのリストの取得

目的のストリームプロパティを設定する

プレビューとキャプチャストリームの縦横比を一致させる

フィードバック

その他のリソース

次の方法で共有

MediaCapture の形式、解像度、およびフレーム レートの設定

メディア エンコード プロパティのヘルパー クラス

プレビュー ストリームとキャプチャ ストリームの独立性の判断

利用可能なストリーム プロパティのリストの取得

目的のストリーム プロパティを設定する

プレビューとキャプチャ ストリームの縦横比を一致させる

フィードバック

その他のリソース

MediaCapture の形式、解像度、およびフレームレートの設定

メディアエンコードプロパティのヘルパークラス

プレビューストリームとキャプチャストリームの独立性の判断

利用可能なストリームプロパティのリストの取得

目的のストリームプロパティを設定する

プレビューとキャプチャストリームの縦横比を一致させる