Descripción de V-Order para el almacenamiento en Microsoft Fabric
Esto se aplica a:✅ Warehouse en Microsoft Fabric
El almacenamiento en almacenes en Microsoft Fabric usa el formato de tabla delta Lake para todos los datos de usuario. Además de las optimizaciones proporcionadas por el formato Delta, un almacén aplica optimizaciones al almacenamiento para proporcionar un rendimiento más rápido de las consultas en escenarios de análisis, a la vez que mantiene el cumplimiento del formato Parquet. En este artículo se describe la optimización de escritura de V-Order, sus ventajas y cómo controlarla.
¿Qué es V-Order?
V-Order es una optimización del tiempo de escritura en el formato de archivo parquet que permite lecturas rápidas de rayos en los motores de proceso de Microsoft Fabric, como Power BI, SQL, Spark y otros.
Los motores de Power BI y SQL usan la tecnología de Microsoft Verti-Scan y los archivos parquet ordenados por V-Order para lograr tiempos de acceso a datos en memoria. Spark y otros motores de proceso que no son Verti-Scan también se benefician de los archivos ordenados por V-Order con un promedio de tiempos de lectura un 10 % más rápidos, con algunos escenarios de hasta un 50 %.
V-Order funciona aplicando una ordenación especial, distribución de grupos de filas, codificación de diccionario y compresión en archivos Parquet. Como resultado, los motores de proceso requieren menos recursos de red, disco y CPU para leer datos del almacenamiento, lo que proporciona rentabilidad y rendimiento. Todos los motores parquet pueden leer su formato parquet de código abierto 100 % compatible como archivos parquet normales.
Consideraciones sobre el rendimiento
Tenga en cuenta lo siguiente antes de decidir deshabilitar V-Order:
- El modo Direct Lake de Microsoft Fabric depende de V-Order.
- En el almacén, el efecto de V-Order en el rendimiento puede variar en función de los esquemas de tabla, los volúmenes de datos, las consultas y los patrones de ingesta.
- Asegúrese de probar cómo V-Order afecta al rendimiento de la ingesta de datos y de las consultas antes de decidir deshabilitarlo. Considere la posibilidad de crear una copia del almacén de pruebas mediante el control de código fuente, deshabilitar V-Order en la copia y ejecutar tareas de ingesta y consulta de datos para probar las implicaciones de rendimiento.
Escenarios en los que V-Order podría no ser beneficioso
Tenga en cuenta el efecto de V-Order en el rendimiento antes de decidir si deshabilitar es adecuado deshabilitar V-Order en su caso.
Precaución
Actualmente, deshabilitar V-Order solo se puede realizar en el nivel de almacén y es irreversible: una vez deshabilitado, no se puede volver a habilitar. Los usuarios deben tener en cuenta el rendimiento si deciden deshabilitar V-Order en el almacén de Fabric.
Deshabilitar V-Order puede ser útil para almacenes de escritura intensiva, como para almacenes dedicados a los datos de almacenamiento provisional como parte de un proceso de ingesta de datos. Las tablas de ensayo suelen quitarse y volver a crearse (o truncarse) para procesar nuevos datos. Estas tablas de almacenamiento provisional pueden ser de solo lectura una o dos veces, lo que podría no justificar el tiempo de ingesta agregado aplicando al V-Order. Al deshabilitar V-Order y reducir el tiempo de ingesta de datos, es posible que se reduzca el tiempo total para procesar los datos durante los trabajos de ingesta. En este caso, debe segmentar el almacén provisional desde el almacén principal orientado al usuario, de modo que las consultas de análisis y Power BI puedan beneficiarse de V-Order.