Microsoft Fabric 中 OneLake 的新增功能和计划
重要
发布计划描述了可能或可能尚未发布的功能。 交付时间线和投影功能可能会更改或未交付。 有关详细信息,请参阅Microsoft策略。
OneLake 是面向整个组织的统一逻辑数据湖。 与 OneDrive 一样,OneLake 也是每个 Microsoft Fabric 租户自动随附的,并且旨在成为所有分析数据的统一位置。
OneLake 中的任何数据都适用于现成的治理,例如数据世系、数据保护、认证、目录集成等,最终由租户管理员控制。在租户中,工作区使组织的不同部分能够独立工作,同时仍为同一数据湖做出贡献。
OneLake 在每个级别都打开。 OneLake 支持与现有 ADLS Gen2 应用程序兼容的相同 ADLS Gen2 API 和 SDK,并且可以支持任何类型的文件、结构化或非结构化文件。
OneLake 旨在提供单个数据副本中可能的最大价值。 使用 OneLake 快捷方式,可以通过创建对存储在其他文件位置(如其他 OneLake 位置或 ADLS 或 S3)中的数据的引用,从而跨域、云和帐户统一数据,而无需移动或重复数据。 还可以跨多个分析引擎使用相同的数据,因为 Fabric 引擎以开放 parquet 格式存储所有表格数据。不再需要复制数据,只需将其用于另一个引擎。
若要了解详细信息,请参阅文档。
投资领域
功能 | 预计发布时间线 |
---|---|
Iceberg 数据的 OneLake 表快捷方式 | 2024 年第 4 季度 |
OneLake 安全模型 | 2025 年第 1 季度 |
OneLake 数据访问角色正式发布 | 2025 年第 1 季度 |
OneLake 快捷方式中本地数据网关的缓存支持 | 2025 年第 1 季度 |
CI/CD 对 OneLake 快捷方式的支持 | 2025 年第 1 季度 |
轻松管理孤立无援的 OneLake 快捷方式 | 2025 年第 1 季度 |
使用客户管理的密钥 OneLake 加密 | 2025 年第 2 季度 |
Fabric OneLake 目录 | 发货(2024 年第 4 季度) |
OneLake 的 Databricks Unity 目录支持 | 发货(2024 年第 3 季度) |
本地数据的 OneLake 快捷方式 | 发货(2024 年第 2 季度) |
Google 云存储快捷方式 | 发货(2024 年第 1 季度) |
快捷方式 API | 发货(2024 年第 1 季度) |
Amazon S3 快捷方式的智能缓存 | 发货(2023 年第 4 季度) |
Iceberg 数据的 OneLake 表快捷方式
估计发布时间线:2024 年第 4 季度
发布类型:公共预览版
使用 Microsoft OneLake,你将能够在其他位置创建 Iceberg 数据的表快捷方式,并且此数据将自动以 Delta Lake 格式显示。
OneLake 会自动生成虚拟化的 Delta Lake 元数据,并通过 OneLake 快捷方式提供它。 这意味着,可以将 Iceberg 数据用于处理 Delta Lake 格式数据的所有 Fabric 工作负载。
OneLake 安全模型
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
跨多个分析引擎和数据副本管理数据安全性具有挑战性。 OneLake 和 Fabric 通过允许跨多个分析引擎使用单个数据复制来简化此操作,而无需任何数据移动或重复。 将“一个副本”概念进一步提升,OneLake 还通过更精细的模型增强了安全性,允许表和文件夹访问,以及行级和列级安全性。 这些安全定义与数据一起存在,并跨快捷方式传输,无论使用数据在哪里。 OneLake 中定义的安全性在多个 Fabric 分析引擎中完全强制实施。
OneLake 数据访问角色正式发布
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
OneLake 数据访问角色基于 OneLake 安全模型的现有功能构建,以提高可在 Fabric 数据项中应用安全性的粒度。 此功能添加了可继承的 RBAC(基于角色的访问控制)模型,该模型简化了 OneLake 中数据的用户和权限管理。 可以定义安全角色,这些角色授予对 OneLake 中特定文件夹的读取访问权限,并将其分配给用户或组。 访问权限决定了用户通过湖屋 UX、笔记本或 OneLake API 访问数据湖视图时看到的文件夹。
OneLake 快捷方式中对本地数据网关的缓存支持
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
快捷方式缓存可用于降低与跨云数据访问相关的出口成本。 当通过外部快捷方式读取文件时,文件将存储在 Fabric 工作区的缓存中。 后续的读取请求由缓存而不是远程存储提供程序提供服务。 通过引入本地数据网关的缓存支持,可以在连接到本地数据或防火墙后的数据时利用这些功能。
OneLake 快捷方式的 CI/CD 支持
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
Microsoft Fabric 的生命周期管理工具提供了一个标准化的系统,用于在产品生命周期内开发团队的所有成员之间进行通信和协作。 通过引入对 OneLake 快捷方式的 CI/CD 支持,可以轻松地跨环境管理 OneLake 快捷方式的部署。
轻松管理孤立的 OneLake 快捷方式
估计发布时间线:2025 年第 1 季度
当人员切换团队、离开组织或失去特定访问权限时,OneLake 快捷方式可能会变得不可用。 借助这些孤立无援快捷方式的新管理功能,可以轻松还原快捷方式,且不会对业务产生影响。
使用客户管理的密钥进行 OneLake 加密
估计发布时间线:2025 年第 2 季度
发布类型:公共预览版
作为增强数据安全性和合规性的战略路线图的一部分,我们计划在 OneLake 中引入对客户管理的密钥(CMK)的支持。 此功能使组织可以更好地控制其数据加密密钥。 借助 CMK,用户将能够管理自己的加密密钥,确保其数据根据特定的安全策略和法规要求进行保护。 如果吊销客户的密钥,Microsoft将失去对 OneLake 中的客户数据的访问权限。
发货功能(s)
Fabric OneLake 目录
发货(2024 年第 4 季度)
发布类型:正式发布
OneLake 目录是一个完整的解决方案,用于浏览、管理和治理整个 Fabric 数据资产。 OneLake 目录是 OneLake 数据中心体验的演变,具有增强功能,可帮助所有 Fabric 用户发现和管理受信任的数据,并为数据所有者提供有价值的见解、建议的操作和工具的治理。 OneLake 目录附带两个选项卡:探索和管理。 在“浏览”选项卡中,用户可以浏览和管理他们有权访问的一个中心位置的所有 Fabric 项目,其中包含域、项目类型、所有者、认可、标记等筛选器。 用户可以双击 Fabric 项执行操作或浏览说明、数据世系、权限和活动。 在“治理”选项卡中,数据所有者可以查看其数据的概述,其中包含有关认可、数据标记、数据类型等的见解,并获取建议的操作,以提高其数据的质量和合规性。 “浏览”选项卡现已正式发布,“治理”选项卡即将推出预览版。
OneLake 的 Databricks Unity 目录支持
发货(2024 年第 3 季度)
发布类型:公共预览版
Azure Databricks Unity 目录与 Microsoft Fabric 集成
你将能够在 Microsoft Fabric 中直接访问 Azure Databricks Unity 目录表,从而更轻松地将 Azure Databricks 与 Microsoft Fabric 统一起来。 在 Fabric 门户中,只需单击几下鼠标即可在 Fabric 中创建和配置新的 Azure Databricks Unity 目录项。 可以在 OneLake 中添加完整的目录、架构,甚至单个表链接和管理此 Azure Databricks 项(连接到 Unity 目录的快捷方式)会自动为你负责。 此数据与 OneLake 中的其他任何数据类似,可以编写 SQL 查询,或者通过 Direct Lake 模式将其与 Fabric 中的其他任何工作负荷一起使用,包括 Power BI。 修改数据或在 Azure Databricks 中添加、删除或重命名表时,Fabric 中的数据将始终保持同步。通过这种新集成,可以轻松地统一 Fabric 中的 Azure Databricks 数据,并在每个 Fabric 工作负荷中无缝使用它。
本地数据的 OneLake 快捷方式
发货(2024 年第 2 季度)
发布类型:公共预览版
Microsoft OneLake 快捷方式正在扩展,以包含本地数据源和网络受限数据源。 借助此功能,可以在 OneLake 中统一本地数据和云数据。
在创建 AWS S3、Google 云存储或 S3 兼容存储桶的快捷方式期间,可以选择选择本地数据网关(OPDG)建立连接。
Google 云存储快捷方式
发货(2024 年第 1 季度)
发布类型:公共预览版
OneLake 将扩展 Google Cloud Storage 的快捷方式支持,从而允许数据虚拟化,而无需移动或复制数据。 这样就可以将 Google Cloud Storage 数据与 ADLS gen2、OneLake、Dataverse 和 Amazon S3 等Microsoft 服务集成。 数据将像在 OneLake 中一样显示和工作,并提供一个可以跨越云的简单数据湖。
快捷方式 API
发货(2024 年第 1 季度)
发布类型:公共预览版
用于自动创建和管理快捷方案的公共 REST API。
Amazon S3 快捷方式的智能缓存
发货(2023 年第 4 季度)
发布类型:公共预览版
Amazon S3 快捷方式的智能缓存可降低出口成本,并通过使数据更接近计算引擎来提高性能。 智能缓存将从 S3 传出一次数据,并在 OneLake 中本地缓存一段时间。 这样,就无需从 S3 重复检索数据。 缓存的数据可以跨多个用户、分析引擎和优化单个出口值的方案重复使用。