透過遠端桌面通訊協議進行圖形編碼
來自遠端工作階段的圖形資料會透過遠端桌面通訊協定 (RDP) 傳輸至本機裝置。 此程式牽涉到將圖形數據傳送至本機裝置之前,先編碼遠端虛擬機上的圖形數據。 每個畫面會根據其內容進行處理,並傳遞影像處理器、分類器和編解碼器,再使用 RDP 的圖形傳輸傳遞至本機裝置。
編碼和傳輸圖形數據的目的是提供最佳效能和品質,體驗與在本機使用裝置相同。 使用 Azure 虛擬桌面、Windows 365 中的雲端電腦,以及Microsoft開發箱時,此程式很重要,使用者預期在遠端工作時會有高品質的體驗。
RDP 使用一系列功能和技術來處理和傳輸圖形數據,使其適用於各種案例,例如辦公室生產力、視訊播放和遊戲。 這些功能和技術包括:
硬體和軟體編碼:使用CPU或 GPU 來編碼圖形數據。
硬體加速編碼:將圖形編碼的處理從CPU卸載至具有離散 GPU 的遠端虛擬機上的 GPU。 GPU 為圖形密集型應用程式提供更好的效能,例如 3D 模型化或高畫質影片編輯。
軟體編碼:使用CPU以低成本編碼圖形數據。 軟體編碼是遠端虛擬機上不使用離散 GPU 的預設編碼配置檔。
混合模式:使用不同的編解碼器分隔文字和影像編碼,以提供每種內容類型的最佳品質和最低編碼成本。 混合模式僅適用於軟體編碼。
調適型圖形:根據可用的頻寬和螢幕內容來調整編碼品質。
全螢幕視訊編碼:提供更高的幀速率和更好的用戶體驗。
差異偵測和快取:減少需要傳輸的數據量。
多個編解碼器支援:在本機裝置上使用硬體譯碼器。 編解碼器包括進階視訊編碼 (AVC) 視訊編解碼器,也稱為 H.264,以及高效視訊編碼 (HEVC) 視訊編解碼器,也稱為 H.265。 HEVC/H.265 支援處於預覽狀態,且需要支援相容的 GPU 遠端虛擬機。
4:2:0 和 4:4:4 色度子取樣:提供影像品質與頻寬使用量之間的平衡。
您可以根據遠端會話、本機裝置和網路可用的資源,以及您想要提供的用戶體驗,使用這些功能和技術的組合。
本文說明使用其中一些功能和技術,透過 RDP 編碼和傳遞圖形數據的程式。
提示
建議您盡可能使用多媒體重新導向,以將視訊播放重新導向至本機裝置。 多媒體重新導向透過將視訊數據的位串流傳送至本機裝置,讓影片播放在屏幕的正確位置譯碼並轉譯影片,提供更好的用戶體驗。 不論編碼組態為何,此方法也會降低遠端虛擬機的處理成本。 若要深入瞭解,請參閱 遠程會話中視訊播放和通話的多媒體重新導向。
混合模式
根據預設,圖形數據會根據其內容來分隔。 文字和影像會使用編解碼器混合編碼,在只使用軟體編碼時,在不同的內容類型之間達到最佳編碼效能。 此程序稱為混合模式。
平均而言,遠端會話大約 80% 的圖形數據是文字。 為了為文字提供最低的編碼成本和最佳品質,RDP 會使用針對文字優化的自定義編解碼器。 由於影像內容對有效編碼更具挑戰性,因此請務必使用適合可用比特率的編解碼器。
其餘的內容會與影像和視訊分開:
影像是使用 AVC/H.264 或 RemoteFX 圖形進行軟體編碼,視本機裝置的功能以及是否啟用多媒體重新導向而定。 使用多媒體重新導向時,無法使用影像的AVC/H.264編碼。
視訊是以AVC/H.264編碼的軟體。
AVC/H.264 是廣泛支持的編解碼器,具有良好的影像壓縮比例、能夠漸進式編碼,而且能夠根據比特率調整品質。 它依賴本機裝置上的硬體譯碼器,新式裝置上受到廣泛支援。 在本機裝置上使用硬體譯碼器可減少本機裝置上的CPU使用量,並提供更佳的用戶體驗。 請洽詢裝置製造商,以確保其支援AVC/H.264硬體譯碼。
下圖顯示在軟體編碼案例中使用混合模式透過 RDP 編碼和傳遞圖形資料的程式:
此程式描述如下:
第一次處理框架點陣圖的方式是偵測它是否包含視訊。 如果它確實包含視訊,則會將畫面傳送至視訊編解碼器,在軟體型案例中使用AVC/H.264編碼,然後畫面會傳遞至圖形通道。
如果畫面未包含視訊,影像處理器會判斷是否有差異變更、偵測到動作,或快取中是否有內容可用。 如果內容符合特定準則,框架會傳遞至圖形通道。
如果框架需要進一步處理,影像分類器會判斷它是否包含文字或影像。
文字和影像會使用不同的編解碼器進行編碼,以提供每種內容類型的最佳品質和最低編碼成本。 編碼之後,框架會傳遞至圖形通道。
您可以啟用 全螢幕視訊編碼 ,使用AVC/H.264視訊編解碼器來處理所有螢幕內容,而不是針對混合模式的文字和影像使用兩個不同的編解碼器。
全螢幕視訊編碼
全螢幕視訊編碼適用於螢幕內容主要是以影像為基礎的案例,並作為混合模式的替代方案。 全螢幕視訊編碼會使用AVC/H.264或HEVC/H.265來處理所有圖形數據。 因此,當螢幕內容以文字為主時,其執行效能會比混合模式編碼更差。
全螢幕視訊配置檔提供較高的幀速率和更好的用戶體驗,但在遠端虛擬機和本機裝置上使用更多網路頻寬和資源。 其有利於 3D 模型建構、CAD/CAM 或視訊播放和編輯等應用程式。
如果您同時啟用 HEVC/H.265 和 AVC/H.264 硬體加速,但在本機裝置上無法使用 HEVC/H.265,則會改用 AVC/H.264。 與AVC/H.264相比,HEVC/H.265允許25-50%的數據壓縮,在相同的視訊品質,或在同一比特率提高品質。
即使沒有 GPU 加速,您也可以使用 AVC/H.264 啟用全螢幕視訊編碼,但 HEVC/H.265 需要相容的 GPU 遠端虛擬機。
若要深入瞭解,請參閱 啟用 Azure 虛擬桌面的 GPU 加速。
硬體 GPU 加速
Azure 虛擬桌面、Windows 365 中的雲端電腦,以及Microsoft開發箱支援圖形處理單位 (GPU) 加速轉譯和編碼,以改善使用遠端桌面通訊協定 (RDP) 的應用程式效能和延展性。 GPU 加速對於圖形密集型應用程式至關重要,例如,圖形設計師、視訊編輯人員、3D 模型建構人員、資料分析師或視覺效果專家所使用的應用程式。
GPU 加速有兩個元件可一起運作,以改善用戶體驗:
GPU 加速的應用程式轉譯:使用 GPU,在遠端工作階段中轉譯圖形。
GPU 加速框架編碼:RDP 會將轉譯的所有圖形編碼為傳輸至本機裝置。 當畫面的一部分經常更新時,它會以AVC/H.264編碼。
如果您的工作負載中的螢幕內容主要是以影像為基礎,您也可以啟用 全螢幕視訊編碼 來處理所有屏幕內容,以提供更高的幀速率和更佳的用戶體驗。
若要深入瞭解,請參閱 啟用 GPU 加速。
4:2:0 和 4:4:4 的色度子取樣支援
色度值會決定用於編碼的色彩空間。 根據預設,色度值會設定為 4:2:0,這在影像品質與網路頻寬之間提供了良好的平衡。 當您使用AVC/H.264時,可以將色度值增加到4:4:4以改善影像品質,但也會增加網路頻寬。 您不需要使用 GPU 加速來變更色度值。
若要深入瞭解,請參閱 使用進階視訊編碼 (AVC) 視訊編解碼器將色度值提高到 4:4:4。