Compartir a través de

Ingesta de datos en OneLake y análisis con Azure Databricks

  • Artículo

En esta guía, hará lo siguiente:

  • Cree una canalización en un área de trabajo e ingiera datos en OneLake en formato Delta.

  • Lea y modifique una tabla Delta en OneLake con Azure Databricks.

Requisitos previos

Antes de comenzar, debe tener:

  • Un área de trabajo con un elemento de Lakehouse.

  • Un área de trabajo premium de Azure Databricks. Solo las áreas de trabajo premium de Azure Databricks admiten el acceso directo de credenciales de Microsoft Entra. Al crear el clúster, habilite el paso de credenciales de Azure Data Lake Storage en las Opciones avanzadas.

  • Un conjunto de datos de muestra.

Ingesta de datos y modificación de la tabla Delta

  1. Vaya a su almacén de lago en el servicio Power BI y seleccione Obtener datos y, a continuación, seleccione Nueva canalización de datos.

    Captura de pantalla que muestra cómo navegar hasta la nueva opción de canalización de datos desde la interfaz de usuario.

  2. En el símbolo del sistema Nueva canalización, escriba un nombre para la nueva canalización y, a continuación, seleccione Crear.

  3. Para este ejercicio, seleccione los datos de ejemplo NYC Taxi: Verde como origen de datos y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo seleccionar el modelo semántico de muestra de NYC.

  4. En la pantalla de vista previa, seleccione Siguiente.

  5. Para el destino de datos, seleccione el nombre del almacén de lago que desea usar para almacenar los datos de la tabla OneLake Delta. Puede elegir un almacén de lago existente o crear uno nuevo.

    Captura de pantalla que muestra cómo seleccionar el almacén de lago de destino.

  6. Seleccione dónde quiere almacenar la salida. Elija Tablas como carpeta raíz y escriba "nycsample" como nombre de tabla.

  7. En la pantalla Revisar y guardar, seleccione Iniciar transferencia de datos inmediatamente y, a continuación, seleccione Guardar y ejecutar.

    Captura de pantalla que muestra cómo escribir el nombre de la tabla.

  8. Una vez completado el trabajo, vaya a su almacén de lago y vea la tabla delta que aparece en la /carpeta Tables.

  9. Haga clic con el botón derecho en el nombre de la tabla creada, seleccione Propiedades y copie la ruta de acceso del sistema de archivos de objetos binarios de Azure (ABFS).

  10. Abra el cuaderno de Azure Databricks. Lea la tabla Delta en OneLake.

    olsPath = "abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample" 
df=spark.read.format('delta').option("inferSchema","true").load(olsPath)
df.show(5)

  11. Actualice los datos de la tabla Delta cambiando un valor de campo.

    %sql
update delta.`abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample` set vendorID = 99999 where vendorID = 1;

Contenido relacionado