Creación de reflejo de Azure Cosmos DB (versión preliminar)
La creación de reflejo en Microsoft Fabric ofrece una experiencia fluida sin ETL para integrar los datos existentes de Azure Cosmos DB con el resto de los datos en Microsoft Fabric. Los datos de Azure Cosmos DB se replican continuamente directamente en Fabric OneLake casi en tiempo real, sin ningún impacto en el rendimiento en las cargas de trabajo transaccionales ni en unidades de solicitud (RU).
Los datos de OneLake se almacenan con el formato delta de código abierto y se facilitan automáticamente a todos los motores analíticos de Fabric.
Puede aprovechar las funcionalidades integradas de Power BI para acceder a los datos en OneLake en modo DirectLake. Con las mejoras Copilot de Fabric, puede usar la eficacia de la inteligencia artificial generativa para obtener información clave sobre los datos empresariales. Además de Power BI, puede usar T-SQL para ejecutar consultas de agregado complejas o usar Spark para la exploración de datos. Puede acceder sin problemas a los datos de los cuadernos y usar la ciencia de datos para crear modelos de aprendizaje automático.
Importante
La creación de reflejo para Azure Cosmos DB está actualmente en versión preliminar. No se admiten cargas de trabajo de producción durante la versión preliminar. Actualmente, solo se admiten cuentas de Azure Cosmos DB for NoSQL.
¿Por qué se debe utilizar la creación de reflejo en Fabric?
Con Creación de reflejo en Fabric, no es necesario agrupar diferentes servicios de varios proveedores. En su lugar, puede disfrutar de un producto muy integrado, de un extremo a otro y fácil de usar diseñado para simplificar las necesidades de análisis y apertura.
Si busca informes o análisis de BI en los datos operativos de Azure Cosmos DB, la creación de reflejo proporciona:
- Sin ETL, el acceso casi en tiempo real rentable a los datos de Azure Cosmos DB sin afectar al consumo de unidades de solicitud.
- Facilidad para integrar datos de varios orígenes en OneLake
- Optimizaciones de tablas delta con orden v para lecturas rápidas
- Integración en un solo clic con Power BI mediante Direct Lake y Copilot
- Información de la empresa enriquecida mediante la combinación de datos entre varios orígenes
- Integración de aplicaciones más completa para acceder a consultas y vistas
Los datos de OneLake se almacenan con el formato Delta Lake de código abierto, por lo que se pueden usar con varias soluciones de Microsoft u otras empresas. Este formato de datos simplifica la generación de un único patrimonio de datos para sus necesidades analíticas.
¿Qué experiencias de análisis se crean?
Los catálogos reflejados son un elemento de Almacenamiento de datos de Fabric distinto del Almacén y del punto de conexión de análisis SQL.
Cada base de datos reflejada de Azure Cosmos DB tiene tres elementos con los que puede interactuar en el área de trabajo de Fabric:
- Elemento de base de datos reflejada. La creación de reflejo administra la replicación de datos en OneLake y la conversión a Parquet, en un formato listo para el análisis. Esto permite escenarios de bajada, como la ingeniería de datos, la ciencia de datos, etc.
- Punto de conexión de análisis SQL, que se genera automáticamente
- Modelo semántico predeterminado, que se genera automáticamente
Base de datos reflejada
La base de datos reflejada muestra el estado de replicación y los controles para detener o iniciar la replicación en OneLake. También puede ver la base de datos de origen en modo de solo lectura mediante el explorador de datos de Azure Cosmos DB. Con el explorador de datos, puede ver los contenedores en la base de datos de Azure Cosmos DB de origen y consultarlos. Estas operaciones consumen unidades de solicitud (RU) de la cuenta de Azure Cosmos DB. Los cambios realizados en la base de datos de origen se reflejan inmediatamente en la vista de base de datos de origen de Fabric. No se permite escribir en la base de datos de origen de Fabric, ya que solo se pueden ver los datos.
Punto de conexión de análisis SQL
Cada base de datos reflejada tiene un punto de conexión de análisis SQL generado automáticamente, que proporciona una experiencia analítica enriquecida sobre las tablas Delta de OneLake generadas con el proceso de creación de reflejo. Puede acceder a comandos de T-SQL conocidos para definir y consultar objetos de datos, pero no manipular los datos del punto de conexión de análisis SQL, ya que es una copia de solo lectura.
Puede realizar las siguientes acciones en el punto de conexión de análisis SQL:
- Explore las tablas de Delta Lake con T-SQL. Cada tabla se asigna a un contenedor de la base de datos de Azure Cosmos DB.
- Cree consultas y vistas sin código y explórelas visualmente sin escribir una línea de código.
- Combine y consulte datos de otros almacenes e instancias de Lakehouse, almacenamiento y bases de datos reflejadas en la misma área de trabajo.
- Puede visualizar y compilar informes de BI con un solo clic basado en consultas o vistas SQL.
Además del Editor de consultas SQL de Microsoft Fabric, hay un amplio ecosistema de herramientas. Estas herramientas incluyen la extensión mssql con Visual Studio Code, SQL Server Management Studio e incluso GitHub Copilot. Puede impulsar el análisis y la generación de conclusiones en la herramienta que prefiera.
Modelo semántico
El modelo semántico predeterminado es el de Power BI aprovisionado automáticamente. Esta característica permite crear, compartir y reutilizar métricas de negocio. Para obtener más información, consulte Modelos semánticos.
¿Cómo funciona la replicación casi en tiempo real?
Al habilitar la creación de reflejo en la base de datos de Azure Cosmos DB, las operaciones de inserción, actualización y eliminación con sus datos de procesamiento de transacciones en línea (OLTP) se replican continuamente en OneLake para el consumo de análisis.
La característica de copia de seguridad continua es un requisito previo para la creación de reflejo. Puede habilitar la copia de seguridad continua de 7 o 30 días en la cuenta de Azure Cosmos DB. Si va a habilitar la copia de seguridad continua específicamente para la creación de reflejo, se recomienda realizar una copia de seguridad continua de 7 días, ya que es gratis.
Nota:
La creación de reflejo no usa el almacén analítico ni la fuente de cambios de Azure Cosmos DB como origen de la captura de datos modificados. Puede seguir usando estas funcionalidades por separado junto con la creación de reflejo.
Los datos de Azure Cosmos DB pueden tardar unos minutos en replicar los datos de Azure Cosmos DB en OneLake. En función de la instantánea inicial de los datos o de la frecuencia de actualizaciones y eliminaciones, la replicación también puede tardar más tiempo en algunos casos. La replicación no afecta a las unidades de solicitud (RU) asignadas para las cargas de trabajo transaccionales.
¿Qué puedo esperar de la creación de reflejo?
Hay algunas consideraciones y escenarios admitidos que debe tener en cuenta antes de la creación de reflejo.
Consideraciones sobre la configuración
Para reflejar una base de datos, esta debe estar aprovisionada en Azure. También debe habilitar la copia de seguridad continua en la cuenta como requisito previo.
- Solo puede reflejar una base de datos a la vez. Puede elegir qué base de datos se va a reflejar.
- Es posible reflejar la misma base de datos varias veces dentro de la misma área de trabajo. Como procedimiento recomendado, se puede reutilizar una sola copia de la base de datos en Lakehouse, almacenes u otras bases de datos reflejadas. No es necesario configurar varios reflejos en la misma base de datos.
- También puede reflejar la misma base de datos en diferentes áreas de trabajo o suscriptores de Fabric.
- Los cambios en los contenedores de Azure Cosmos DB, como agregar nuevos contenedores o eliminar los existentes, se replican sin problemas en Fabric. Por ejemplo, puede iniciar la creación de reflejo de una base de datos vacía sin contenedores, y esta recogerá los contenedores agregados en un momento posterior.
Compatibilidad con datos anidados
Los datos anidados se muestran como una cadena JSON en las tablas de puntos de conexión de análisis SQL. Puede usar OPENJSON, CROSS APPLY y OUTER APPLY en consultas o vistas de T-SQL para expandir estos datos de forma selectiva. Si usa Power Query, también puede aplicar la función ToJson para expandir estos datos.
Nota:
Fabric tiene una limitación para las columnas de cadena con un tamaño de 8 KB. Para obtener más información consulte Limitaciones de almacenamiento de datos.
Manipular cambios de esquema
La creación de reflejo replica automáticamente las propiedades en los elementos de Azure Cosmos DB con cambios de esquema. Las nuevas propiedades detectadas en un elemento se muestran como columnas nuevas; las propiedades que faltan, si las hay, se representan como null en Fabric.
Si cambia el nombre de una propiedad de un elemento, las tablas de Fabric conservan las columnas antigua y nueva. La columna antigua mostrará null, y en la nueva aparecerá el valor más reciente para los elementos que se replican después de la operación de cambio de nombre.
Si cambia el tipo de datos de una propiedad en los elementos de Azure Cosmos DB, se admiten modificaciones para los tipos de datos compatibles que se pueden convertir. Si los tipos de datos no son compatibles con la conversión en Delta, se representan como valores null.
Las tablas de puntos de conexión de análisis SQL convierten los tipos de datos Delta en tipos de datos T-SQL.
Nombres de columna duplicados
Azure Cosmos DB admite nombres de columna que no distinguen mayúsculas y minúsculas, según el estándar JSON. Para admitir estos nombres de columna duplicados, la creación de reflejo agrega _n al nombre de columna, donde n sería un valor numérico.
Por ejemplo, si el elemento de Azure Cosmos DB tiene addressName y AddressName como propiedades únicas, las tablas de Fabric mostrarán las columnas addressName y AddressName_1 correspondientes. Para obtener más información, consulte Limitaciones de la replicación.
Seguridad
Las conexiones a la base de datos de origen se basan en claves de cuenta para las cuentas de Azure Cosmos DB. Si rota o regenera las claves, debe actualizar las conexiones para garantizar que la replicación funcione. Para obtener más información, consulte Conexiones.
Las claves de cuenta no se muestran directamente a otros usuarios de Fabric una vez configurada la conexión. Puede limitar quién accede a las conexiones creadas en Fabric. No se admiten escrituras en la base de datos de Azure Cosmos DB desde el explorador de datos o el punto de conexión de análisis de la base de datos reflejada.
La creación de reflejo no admite actualmente la autenticación mediante claves de cuenta de solo lectura, inicio de sesión único (SSO) con Microsoft Entra ID ni control de acceso basado en roles o identidades administradas.
Una vez que los datos se replican en OneLake, debe proteger el acceso a ellos.
Características de protección de datos
La seguridad granular se puede configurar en la base de datos reflejada en Microsoft Fabric. Para obtener más información, consulte Permisos granulares en Microsoft Fabric.
Puede proteger los filtros de columna y los filtros de fila basados en predicados en las tablas para roles y usuarios de Microsoft Fabric:
- Seguridad de nivel de fila en el almacenamiento de datos de Fabric
- Seguridad de nivel de columna en el almacenamiento de datos de Fabric
También puede enmascarar datos confidenciales de usuarios que no son administradores mediante el enmascaramiento dinámico de datos:
Seguridad de red
Actualmente, la creación de reflejo no admite puntos de conexión privados ni claves administradas por el cliente (CMK) en OneLake. La creación de reflejo no se admite para las cuentas de Azure Cosmos DB con configuraciones de seguridad de red menos permisivas que todas las redes, el uso de puntos de conexión de servicio, el uso de puntos de conexión privados, el uso de direcciones IP ni cualquier otra configuración que pueda limitar el acceso de red pública a la cuenta. Las cuentas de Azure Cosmos DB deben estar abiertas a todas las redes para funcionar con la creación de reflejo.
Latencia de replicación y recuperación ante desastres
Obtenga información sobre cómo implementar contenido para centros de datos en regiones distintas a la región principal del suscriptor de Fabric. Para obtener más información, consulte Soporte técnico multigeográfico.
En una cuenta de Azure Cosmos DB con una región de escritura primaria y varias regiones de lectura, la creación de reflejo elige la región de lectura de Azure Cosmos DB más cercana a la región donde está configurada la capacidad de Fabric. Esta selección ayuda a proporcionar replicación de baja latencia para la creación de reflejo.
Al cambiar la cuenta de Azure Cosmos DB a una región de recuperación, la creación de reflejo vuelve a seleccionar automáticamente la región de Azure Cosmos DB más cercana.
Nota:
La creación de reflejo no admite cuentas con varias regiones de escritura.
Los datos de Cosmos DB replicados en OneLake deben configurarse para manipular las interrupciones en toda la región. Para obtener más información, consulte Recuperación ante desastres en OneLake.
Exploración de datos con la creación de reflejo
Puede ver los datos reflejados en OneLake y acceder directamente a ellos. También puede acceder fácilmente a los datos reflejados sin un mayor movimiento de datos.
Obtenga más información sobre cómo acceder a OneLake mediante las API o el SDK de ADLS Gen2, el explorador de archivos de OneLake y el explorador de Azure Storage.
Puede conectarse al punto de conexión de análisis SQL desde herramientas como SQL Server Management Studio (SSMS) o mediante controladores como la conectividad abierta de bases de datos de Microsoft (ODBC) y Java Database Connectivity (JDBC). Para obtener más información, consulte Conectividad a puntos de conexión de análisis SQL.
También puede acceder a los datos reflejados con servicios como:
- Servicios de Azure, como Azure Databricks, Azure Synapse Analytics y Azure HDInsight.
- Fabric Lakehouse, mediante combinaciones de teclas para escenarios de ingeniería de datos y ciencia de datos
- Otras bases de datos o almacenes reflejados en el área de trabajo de Fabric
Asimismo, puede crear soluciones de arquitectura de medallion, limpiar y transformar los datos que se van a colocar en la base de datos reflejada como capa de bronce. Para obtener más información, consulte Compatibilidad con la arquitectura de medallion en Fabric.
Precios
La creación de reflejo es gratuita para el proceso que se usa para replicar los datos de Cosmos DB en Fabric OneLake. El almacenamiento en OneLake es gratuito en función de ciertas condiciones. Para saber más, consulte Precios de OneLake para la creación de reflejo. El uso de proceso para consultar datos a través de SQL, Power BI o Spark se sigue cobrando en función de la capacidad de Fabric.
Si usa el explorador de datos en la creación de reflejo de Fabric, acumulará costes típicos en función del uso de la unidad de solicitud (RU) para explorar los contenedores y consultar los elementos de la base de datos de Azure Cosmos DB de origen. La característica de copia de seguridad continua de Azure Cosmos DB es un requisito previo para la creación de reflejo; se aplican cargos estándar para la copia de seguridad continua. No habrá cargos adicionales por la creación de reflejo en la facturación de la copia de seguridad continua. Para obtener más información, consulte Precios de Azure Cosmos DB.