Compartir a través de

Normalización de activos

  • Artículo

Al ingerir recursos en el Mapa de datos de Microsoft Purview, los distintos orígenes que actualizan el mismo recurso de datos pueden enviar nombres calificados similares, pero ligeramente diferentes. Aunque estos nombres calificados representan el mismo recurso, pequeñas diferencias, como un carácter adicional, pueden hacer que estos recursos en la superficie parezcan diferentes y provocar entradas duplicadas en Microsoft Purview. Para evitar almacenar entradas duplicadas y causar confusión al consumir el Catálogo unificado, Microsoft Purview aplica automáticamente la normalización durante la ingesta para asegurarse de que todos los nombres completos del mismo tipo de entidad están en el mismo formato.

Por ejemplo, puede examinar en un blob de Azure con el nombre https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquetcompleto . Este blob también lo consume una canalización de Azure Data Factory que, a continuación, agregará información de linaje al recurso. La canalización de ADF (Azure Data Factory) se puede configurar para leer el archivo como https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquet. Aunque el nombre completo es diferente, esta canalización de ADF consume la misma parte de datos. La normalización garantiza que todos los metadatos de Azure Blob Storage y Azure Data Factory estén visibles en un único recurso, https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet.

Importante

Las reglas que se enumeran a continuación son los únicos tipos de posible duplicación que Microsoft Purview reconoce actualmente. Si experimenta una duplicación accidental de recursos, compare los nombres completos de los recursos para comprobar si hay diferencias de mayúsculas o caracteres adicionales. Actualice los puntos de ingesta, por ejemplo, las canalizaciones de ADF, para que los nombres completos coincidan.

Reglas de normalización

Estas son las reglas de normalización que Microsoft Purview aplica automáticamente.

Codificación de corchetes

Se aplica a: Todos los recursos

Antes: https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

Después: https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

Recorte de espacios de sección

Se aplica a: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, grupo de Azure SQL, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Antes: https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

Después: https://myaccount.file.core.windows.net/myshare/folder A/folderB/

Eliminación de espacios de nombre de host

Se aplica a: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, grupo de Azure SQL, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Antes: https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

Después: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Quitar corchetes

Se aplica a: Azure SQL Database, Azure SQL Managed Instance, Azure SQL pool

Antes: mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

Después: mssql://foo.database.windows.net/bar/dbo/foo%20bar

Nota:

Se codificarán espacios entre dos corchetes

Esquema en minúsculas

Se aplica a: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, grupo de Azure SQL, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Antes: HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

Después: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Nombre de host en minúsculas

Se aplica a: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, grupo de Azure SQL, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Antes: https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

Después: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Extensión de archivo en minúsculas

Se aplica a: Blob de Azure, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3

Antes: https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

Después: https://myaccount.file.core.windows.net/myshare/folderA/data.txt

Quitar barra diagonal duplicada

Se aplica a: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, grupo de Azure SQL, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Antes: https://myAccount.file.core.windows.net//myshare/folderA////folderB/

Después: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Conversión al esquema ADL

Se aplica a: Azure Data Lake Storage Gen1

Antes: https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Después: adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Quitar barra diagonal final

Quite la barra diagonal final de los recursos de nivel superior para Azure Blob, ADLS Gen1 y ADLS Gen2.

Se aplica a: Blob de Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2

Tipos de recursos: "azure_blob_container", "azure_blob_service", "azure_storage_account", "azure_datalake_gen2_service", "azure_datalake_gen2_filesystem", "azure_datalake_gen1_account".

Antes: https://myaccount.core.windows.net/

Después: https://myaccount.core.windows.net

Solución de problemas

Si los datos no se normalizan y experimenta una duplicación accidental de recursos, compare los nombres completos de los recursos para comprobar si hay diferencias de mayúsculas o caracteres adicionales.

Las reglas enumeradas anteriormente son los únicos tipos de duplicación que Microsoft Purview reconoce actualmente. Si los datos están fuera de estas reglas, actualice los puntos de ingesta, por ejemplo, las canalizaciones de ADF, para que los nombres calificados coincidan.

Si los recursos cumplen las reglas pero no se normalizan, póngase en contacto con el soporte técnico.

Pasos siguientes

Examine en una cuenta de Azure Blob Storage en el mapa de datos de Microsoft Purview.