Microsoft Fabric 中数据仓库的新增功能和计划
重要
发布计划描述了可能或可能尚未发布的功能。 交付时间线和投影功能可能会更改或未交付。 有关详细信息,请参阅Microsoft策略。
Microsoft Fabric 中的数据仓库是第一个支持多表事务的数据仓库,本机采用开放数据格式。 该仓库基于可靠的 SQL Server 查询优化器和企业级分布式查询处理引擎构建,无需配置和管理。 Microsoft Fabric 中的数据仓库与数据引入数据工厂无缝集成,Power BI 用于分析和报告,以及用于数据科学和机器学习的 Synapse Spark。 它通过聚合数据湖和仓库来简化组织的分析投资。
数据仓库工作负载受益于 SQL 引擎丰富的功能,而开放数据格式使客户能够专注于分析和报告。 它们还受益于从 Data Lake Storage 虚拟化服务 OneLake 访问数据。
若要了解详细信息,请参阅文档。
投资领域
功能 | 预计发布时间线 |
---|---|
Query Insights 更新 | 2024 年第 4 季度 |
数据仓库的 Copilot:Sidecar Chat | 2024 年第 4 季度 |
BULK INSERT | 2025 年第 1 季度 |
OPENROWSET | 2025 年第 1 季度 |
结果集缓存 | 2025 年第 1 季度 |
自动统计信息增强功能 | 2025 年第 1 季度 |
SHOWPLAN_XML | 2025 年第 1 季度 |
适用于 SQL 分析终结点的 Copilot | 2025 年第 1 季度 |
刷新 SQL Analytics 终结点 REST API | 2025 年第 1 季度 |
代码迁移助手 | 2025 年第 1 季度 |
数据聚类分析 | 2025 年第 1 季度 |
更改表 - 删除/重命名列 | 2025 年第 1 季度 |
临时表(会话范围) | 2025 年第 1 季度 |
MERGE (T-SQL) | 2025 年第 1 季度 |
SQL 审核日志 | 2025 年第 1 季度 |
EXECUTE AS | 2025 年第 1 季度 |
BCP | 2025 年第 1 季度 |
VARCHAR(MAX)/VARBINARY(MAX) 类型 | 发货(2024 年第 4 季度) |
SQL Analytics 终结点改进 | 发货(2024 年第 4 季度) |
JSON 支持 | 发货(2024 年第 4 季度) |
字符串性能改进 | 发货(2024 年第 4 季度) |
不区分大小写的排序规则支持(仅仓库) | 发货(2024 年第 4 季度) |
嵌套 CTE | 发货(2024 年第 4 季度) |
T-SQL Notebook 集成 | 发货(2024 年第 3 季度) |
截断 | 发货(2024 年第 3 季度) |
ALTER TABLE - 添加可以为 null 的列 | 发货(2024 年第 3 季度) |
查询见解更新 | 发货(2024 年第 3 季度) |
仓库编辑器中的就地还原 | 发货(2024 年第 2 季度) |
COPY INTO 对安全存储的支持 | 发货(2024 年第 2 季度) |
Copilot | 发货(2024 年第 2 季度) |
按时间顺序查看 | 发货(2024 年第 2 季度) |
仓库监视体验 | 发货(2024 年第 2 季度) |
Query Insights 更新
估计发布时间线:2024 年第 4 季度
发布类型:正式发布
Query Insights 现在会显示在查询执行期间扫描的数据量,并按内存、磁盘和远程方式提供。
数据仓库的 Copilot:Sidecar Chat
估计发布时间线:2024 年第 4 季度
发布类型:公共预览版
适用于数据仓库的 Copilot 是最终配对的程序员,也是任何技能级别开发人员(从数据专业人员到分析师)的工作效率提升器。 它旨在利用生成 AI 简化和自动化数据仓库创建、分析和管理,从而加速仓库开发。
此功能引入了 Copilot sidecar 聊天窗格。 使用聊天窗格通过自然语言向 Copilot 询问有关仓库的问题。 用例包括:
- 自然语言到 SQL:向 Copilot 询问有关数据仓库数据的问题,并接收满足仓库架构要求的生成的 SQL 查询。
- 问:向 Copilot 询问有关仓库的问题,并收到基于文档的答案和指向官方文档的指针。
- 集思广益:使用 Copilot 帮助你集思广益相关趋势或模式在数据中进行分析
BULK INSERT
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
BULK INSERT 语句用于引入 Fabric DW 中的文件(类似于 COPY INTO)。 使用 BULK INERT 函数,我们可以在最少的代码更改的情况下从 SQL Server 迁移到 Fabric DW。 客户需要重写其代码和外部工具,这些工具使用 BULK INSERT 迁移到 COPY INTO 作为迁移到 Fabric DW 的先决条件。 此外,BULK INSERT 支持在 COPY INTO 中不可用的一些传统本地选项。
OPENROWSET
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
Fabric DW 使用户能够使用 OPENROWSET 函数从湖中的文件读取数据。 OPENROWSET 函数的简单示例是:
SELECT *
FROM OPENROWSET ( BULK ‘<file path>’ )
WITH ( <column definition> )
OPENROWSET 函数将在给定 <file path>
位置读取文件的内容,并返回文件的内容。
Thi 函数允许在引入之前轻松浏览和预览文件。
结果集缓存
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
结果集缓存会保存适用查询的结果,并在后续运行时立即返回它们,从而通过绕过重新编译和重新计算来大幅减少执行时间。 缓存是自动管理的,无需手动干预。
自动统计信息增强功能
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
计划了各种增强功能 - 自动统计信息更新的执行时间较短、对 VARCHAR(MAX) 列类型的机会性支持、改进了中间统计信息步骤的存储、用户查询之外的自动统计信息维护。
SHOWPLAN_XML
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
SHOWPLAN_XML返回有关如何以定义完善的 XML 文档的形式执行语句的详细信息,而无需执行 T-SQL 语句。
适用于 SQL 分析终结点的 Copilot
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
适用于数据仓库的 Copilot 是最终配对的程序员,也是任何技能级别开发人员(从数据专业人员到分析师)的工作效率提升器。 它旨在利用生成 AI 简化和自动化数据仓库创建、分析和管理,从而加速仓库开发。 此功能允许在 SQL 分析终结点中使用 Copilot。
刷新 SQL Analytics 终结点 REST API
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
以编程方式触发 SQL 分析终结点的刷新,使表与父项中的任何更改保持同步。
代码迁移助手
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
用户旨在加速将 SQL Server、Synapse 专用 SQL 池和其他仓库迁移到 Fabric 数据仓库,用户将能够从源数据库迁移代码和数据,自动将源架构和代码转换为 Fabric 数据仓库,帮助数据迁移,并提供 AI 提供支持的帮助。
数据聚类分析
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
数据聚类分析允许客户指定列以在引入时共同定位数据,以启用文件跳过读取,从而加快读取性能。
更改表 - 删除/重命名列
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
更改表 - 删除/重命名将使客户可以通过删除和重命名列来更改其表定义。 这除了支持添加新列的现有 Alter Table 功能外,还支持立即投入生产。
临时表(会话范围)
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
会话范围限定,parquet 支持的临时表使客户能够存储中间结果集以供重复访问,但不需要永久保留。 它们作为常规的永久表工作,但在连接关闭时消失。
MERGE (T-SQL)
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
Fabric 数据仓库的 MERGE T-SQL 命令可将基于选择的 DML 的强大功能引入单个语句,以满足所有转换逻辑需求。
SQL 审核日志
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
此功能跟踪数据库事件并将其写入审核日志,从而允许客户使用sys.fn_get_audit_file_v2查询审核文件以审核和符合性。
EXECUTE AS
估计发布时间线:2025 年第 1 季度
发布类型:正式发布
EXECUTE AS 设置会话的执行上下文,从而允许用户模拟为其他用户来验证提供的必要权限。
BCP
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
Fabric DW 支持 bcp 实用工具和 TDS 大容量加载 API。 大容量 Lod API 允许各种客户端工具(如 bcp、SSIS、ADF)将数据加载到 Fabric DW 中。 将文件的内容加载到 DW 表中的 bcp 命令的示例是:
bcp gold.artists in "C:\temp\gold_artist.txt" -d TextDW -c -S "<server name>.msit-datawarehouse.fabric.microsoft.com" -G -U theusert@microsoft.com
发货功能(s)
VARCHAR(MAX)/VARBINARY(MAX) 类型
发货(2024 年第 4 季度)
发布类型:公共预览版
用户可以使用数据仓库中的 VARCHAR(MAX)/VARBINARY(MAX)类型定义列,以存储字符串或二进制数据,最大为 1 MB。 在 Lakehouse 的 SQL 终结点中,Delta 表中的字符串类型表示为 VARCHAR(MAX),而不会截断为 8 KB。 使用 VARCHAR(MAX)和 VARCHAR(8000)类型的查询之间的性能差异已最小化,使用户能够使用大型类型,而不会受到重大性能损失。
SQL Analytics 终结点改进
发货(2024 年第 4 季度)
发布类型:正式发布
此功能包含对 SQL 分析终结点体验进行的更新,包括:
- 打开项或连接到终结点时触发的自动刷新
- 改进了 UI 以直接在功能区中刷新 SQL 分析终结点
- OneLake 中上次成功更新的新属性,通过表属性对话框浮出控件
- 改进了错误消息
JSON 支持
发货(2024 年第 4 季度)
发布类型:正式发布
Fabric Datawarehouse 中的 JSON 支持允许处理格式化为 JSON 文本的文本数据。 Fabric DW 中的新 JSON 功能包括:
- FOR JSON 查询选项,将查询结果的格式设置为 JSON 文本。 这是Microsoft Fabric Idea 站点上请求的功能之一。
- 也可在 Azure SQL 数据库中使用的 JSON 标量函数。 除了现有的 JSON 标量函数(ISJSON、JSON_VALUE、JSON_QUERY 和 JSON_MODIFY),Fabric DW 还支持存在于Azure SQL 数据库中的最新 JSON 函数-JSON_PATH_EXISTS、JSON_OBJECT和JSON_ARRAY。
字符串性能改进
发货(2024 年第 4 季度)
发布类型:正式发布
对字符串(VARCHAR(N)的操作在 T-SQL 查询中很常见。 对使用字符串的字符串函数和运算符的性能提升查询的性能,这些查询使用 WHERE 谓词中的 LIKE 谓词、 字符串函数 和比较运算符,以及使用字符串类型的 GROUP BY、ORDER BY、JOIN 等运算符。
不区分大小写的排序规则支持(仅仓库)
发货(2024 年第 4 季度)
发布类型:正式发布
使用公共 REST API 创建数据仓库包括用于设置默认排序规则的新选项。 这可用于设置新的不区分大小写的排序规则默认值。 支持的两个排序规则是Latin1_General_100_CI_AS_KS_WS_SC_UTF8(即不区分大小写)和Latin1_General_100_BIN2_UTF8(区分大小写),并继续是我们的默认排序规则。
COLLATE T-SQL 子句支持即将推出。 这使你可以使用 CREATE 或 ALTER TABLE 的 COLLATE 命令直接指定 VARCHAR 字段的排序规则。
嵌套 CTE
发货(2024 年第 4 季度)
通用表表达式(CTE)通过将通常的复杂查询分解为简单的块(如有必要),而不是重写查询,从而提高了复杂查询的可读性和简化性。 使用另一个 CTE 的定义定义定义嵌套 CTE。
T-SQL Notebook 集成
发货(2024 年第 3 季度)
发布类型:公共预览版
可以在笔记本中使用 T-SQL 语言支持,它将笔记本和 SQL 的强大功能结合在同一体验中 - 启用 Intellisense、自动完成、跨数据库查询、更丰富的可视化效果以及使用笔记本轻松协作和共享的功能。
TRUNCATE
发货(2024 年第 3 季度)
TRUNCATE 命令快速删除表中的所有数据行。
ALTER TABLE - 添加可以为 null 的列
发货(2024 年第 3 季度)
支持 ALTER TABLE ADD COLUMN,以便能够使用允许 NULL 值的新列扩展现有表。
查询见解更新
发货(2024 年第 3 季度)
将通过 Query Insights 提供已关闭会话的历史视图。 此外,它还有助于分析 DW 的流量、负载和使用情况。
仓库编辑器中的就地还原
发货(2024 年第 2 季度)
现在,可以使用仓库编辑器体验轻松创建还原点,并在发生意外损坏时将仓库还原到已知良好的状态。
COPY INTO 对安全存储的支持
发货(2024 年第 2 季度)
发布类型:公共预览版
现在,可以使用 COPY INTO 将数据从受防火墙保护的外部 Azure 存储帐户引入仓库。
Copilot
发货(2024 年第 2 季度)
发布类型:公共预览版
Copilot 使任何技能级别的开发人员能够在 Fabric 中快速生成和查询仓库。 Copilot 提供建议和最佳做法、自动完成代码、帮助修复和文档代码,并提供数据准备、建模和分析方面的帮助。
按时间顺序查看
发货(2024 年第 2 季度)
在 T-SQL 语句级别进行时间旅行的功能使用户能够通过为整个查询指定时间戳一次来查询过去各种时间范围内的历史数据。 时间旅行通过使用 One Lake 中存在的单个数据副本来执行历史趋势分析、故障排除和数据对帐,帮助大幅节省存储成本。 此外,它还通过维护数据仓库内各个表的数据完整性来实现稳定的报告。
仓库监视体验
发货(2024 年第 2 季度)
使用内置的仓库监视体验,可以查看实时查询和历史查询、监视和排查其端到端解决方案的性能问题。