Analytics Platform System（一种横向扩展 MPP 数据仓库）中的新增功能

项目
09/04/2023

了解 Microsoft Analytics Platform System (APS) 的最新设备更新中的新增功能。 APS 是托管 MPP SQL Server Parallel Data Warehouse 的横向扩展本地设备。

APS CU7.8

发布日期 - 2021 年 11 月

SCVMM2016

APS CU 7.8 软件添加了对 SCVMM2016 离线安装的支持。

使用最新的 SQL 版本修补 VMM。

版本还包含其他安全更新程序和 bug 修复。

APS CU7.7

发布日期 - 2020 年 11 月

SCVMM2016

APS CU7.7 软件将 VMM VM 升级到 Windows Server 2016 并安装 SCVMM2016。当前正在使用的 SCVMM 2012 R2 的生命周期结束日期为 2022 年 7 月。需要支持较新的 SCVMM，从而使 CU7.7 成为强制性升级。敦促客户尽快升级到 CU7.7。

将 SQL Server 2019 的 SSIS 目标适配器作为目标

可以从下载站点下载新的 APS SSIS 目标适配器，且该适配器支持 SQL Server 2019 作为部署目标。

APS CU7.6

发布日期 - 2020 年 4 月

重命名列

升级到 CU7.6 后，客户将能够重命名用户创建的表的列。有关语法、示例、限制和详细信息，请参阅 RENAME (Transact-SQL)。

更改视图

客户现在将能够更改视图。有关详细信息，请参阅 ALTER VIEW (Transact-SQL)。

APS CU7.5

发布日期 - 2019 年 9 月

更改外部数据源

客户将能够使用 CU7.5 更新更改外部数据源定义。拥有 Hadoop 名称节点高可用性的客户现在可以更改数据源，以在发生故障转移时更改参数。对于 APS，只可更改 LOCATION、RESOURCE_MANAGER_LOCATION 和 CREDENTIAL。有关详细信息，请参阅更改外部数据源。

PolyBase 支持 CDH 5.15 和 5.16

具有 CU7.5 更新的 PolyBase on APS 现在支持来自 Cloudera 的 Hadoop 分发的 CDH 5.15 和 5.16 版本。对于 CDH 5.x 版本，使用选项 6。

Try_Convert 和 Try_Cast 支持

CU7.5 APS 现在支持 TRY_CAST 和 TRY_CONVERT tsql 函数。如果转换成功，这两个函数将返回转换为指定数据类型的值；否则，返回 NULL。

APS CU7.4

发布日期 - 2019 年 5 月

使用 dwloader 加载大行

从 APS CU7.4 开始，客户将能够使用新的 dwloader 将行加载到大于 32 KB（32,768 字节）的表中。新的 dwloader 支持 -l 开关，该开关采用介于 32768 和 33554432 之间的整数值（以字节为单位）来加载大于 32 KB 的行。仅当加载大行（大于 32 KB）时，才使用此选项，因为此开关将在客户端和服务器上分配更多内存，并且可能会减慢加载速度。你可以从下载站点下载新的 dwloader。

PolyBase 支持 HDP 3.0 和 3.1

借助此更新，PolyBase on APS 现在支持 HDP 3.0 和 3.1。对于 HDP 3.x 版本，使用选项 7。有关详细信息，请参阅 PolyBase 连接性页面。

PolyBase 支持 UTF16 文件

PolyBase 现在支持读取 UTF16 (LE) 编码中的带分隔符的文本文件。有关安装详细信息，请参阅创建外部文件格式。

APS CU7.3

发布日期 - 2018 年 12 月

常见子表达式清除

APS CU7.3 利用 SQL 查询优化器中的常见子表达式消除来提高查询性能。该改进可通过两种方式来改善查询。第一个益处是，识别和消除此类表达式有助于缩短 SQL 编译时间。第二个且更重要的益处是，消除这些冗余子表达式的数据移动操作，从而使查询的执行时间更快。可在此处找到此功能的详细说明。

已发布适用于 Informatica 10.2.0 的 APS Informatica 连接器

我们发布了新版本的 APS Informatica 连接器，该版本可与 Informatica 版本 10.2.0 和 10.2.0 修补程序 1 结合使用。可以从下载站点下载新连接器。

注意

适用于 Informatica 10.2.0 或 10.2.0 修补程序 1 的 APS Informatica 连接器不适用于严密的 TLS1.2，并且需要 TLS1.0 和 1.1 才能完全正常运行。

支持的版本

APS 版本	Informatica PowerCenter	Driver
APS 2016	9.6.1	SQL Server Native Client 11.x
APS 2016 及更高版本	10.2.0、10.2.0 修补程序 1	SQL Server Native Client 11.x

APS CU7.2

发布日期 - 2018 年 10 月

支持 TLS 1.2

APS CU7.2 支持 TLS 1.2。现在可以将客户端计算机到 APS 和 APS 节点内部的通信设置为仅通过 TLS1.2 进行通信。安装在客户端计算机上且设置为仅通过 TLS 1.2 进行通信的工具（如 SSDT、SSIS 和 Dwloader）现在可以使用 TLS 1.2 连接到 APS。默认情况下，APS 将支持所有 TLS（1.0、1.1 和 1.2）版本，以实现向后兼容性。如果要将 APS 设备设置为严格使用 TLS 1.2，可以通过更改注册表设置来执行此操作。

有关详细信息，请参阅配置 APS 上的 TLS1.2。

Hadoop 加密区域支持 PolyBase

PolyBase 现在可以与 Hadoop 加密区域通信。请参阅配置 Hadoop 安全性所需的 APS 配置更改。

插入-选择 maxdop 选项

我们添加了一个功能开关，您可以为插入-选择操作选取大于 1 的 maxdop 设置。现在可以将 maxdop 设置设置为 0、1、2 或 4。默认值为 1。

重要

提高 maxdop 有时可能会导致操作变慢或死锁错误。如果出现这种情况，请将设置更改回 maxdop 1，然后重试该操作。

列存储索引运行状况 DMV

可以使用 dm_pdw_nodes_db_column_store_row_group_physical_stats dmv 查看列存储索引运行状况信息。使用以下视图确定碎片，并确定何时重新生成或重新组织列存储索引。

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

ORC 和 Parquet 文件的 PolyBase 日期范围增加

对于 ORC 和 Parquet 文件类型，使用 PolyBase 读取、导入和导出日期数据类型现在支持 1970-01-01 之前和 2038-01-20 之后的日期。

将 SQL Server 2017 的 SSIS 目标适配器作为目标

可以从下载站点下载新的 APS SSIS 目标适配器，且该适配器支持 SQL Server 2017 作为部署目标。

APS CU7.1

发布日期 - 2018 年 7 月

DBCC 命令不会占用并发槽（行为变更）

APS 支持 T-SQL DBCC 命令的子集，例如 DBCC DROPCLEANBUFFERS。以前，这些命令会占用并发插槽，从而减少了可以执行的用户加载/查询数。现在，DBCC 命令在不会占用用户并发槽的本地队列中运行，从而提升了总体查询执行性能。

将某些元数据调用替换为目录对象

使用目录对象进行元数据调用（而不是使用 SMO）在 APS 中显示了性能改进。从 CU7.1 开始，其中一些元数据调用现在默认使用目录对象。如果使用元数据查询的客户遇到任何问题，则可以通过功能开关关闭此行为。

缺陷修复

我们已升级到具有 APS CU7.1 的 SQL Server 2016 SP2 CU2。升级修复了下面所述的一些问题。

称谓	说明
潜在的元组移动程序死锁	升级修复了分布式事务和元组移动程序后台线程中长期存在的死锁可能性。安装 CU7.1 后，若客户使用 TF634 停止元组移动程序作为 SQL Server 启动参数或全局跟踪标志，则可以放心删除它。
某些滞后/领先查询失败	在 CCI 表上使用嵌套滞后/领先函数的某些查询可能会出错，现在通过此次升级，已修复此错误。

APS AU7

发布日期 - 2018 年 5 月

APS 2016 是升级到 AU7 的先决条件。以下是 APS AU7 中的新功能：

自动创建和自动更新统计信息

默认情况下，APS AU7 会自动创建和更新统计信息。若要更新统计信息设置，管理员可以在 Configuration Manager 中使用新功能开关菜单项。功能开关可控制统计信息的自动创建、自动更新和异步更新行为。你还可以使用 ALTER DATABASE (Parallel Data Warehouse) 语句更新统计信息设置。

T-SQL

现在支持选择 @var。有关详细信息，请参阅选择局部变量

现在支持查询提示 HASH 和 ORDER GROUP。有关详细信息，请参阅提示(Transact-SQL) - 查询

功能开关

APS AU7 在 Configuration Manager 中引入了功能开关。 AutoStatsEnabled 和 DmsProcessStopMessageTimeoutInSeconds 现在是可由管理员更改的可配置选项。

已知问题

使用 APS AU7 软件，即提供了 Intel BIOS 更新，可修复描述为推理执行旁道攻击的问题。这些攻击旨在利用所谓的 Spectre 和 Meltdown 漏洞。尽管与 APS 一起打包，但 BIOS 更新是手动安装的，而不是作为 APS AU7 软件安装的一部分进行安装。

Microsoft 建议所有客户安装 BIOS 更新。 Microsoft 测量了内核虚拟地址影子处理 (KVAS)、内核页表间接 (KPTI) 和间接分支预测缓解 (IBP) 在不同环境中对各种 SQL 工作负载的影响。这些度量发现某些工作负载明显降低。根据结果，建议先测试启用 BIOS 更新的性能影响，然后再将其部署到生产环境中。请参阅此处的 SQL Server 指导。

APS 2016

本部分介绍了 APS 2016-AU6 的新功能。

SQL Server 2016

APS AU6 在最新的 SQL Server 2016 版本上运行，并使用默认数据库兼容性级别 130。 SQL Server 2016 启用对新功能的支持，例如：

聚集列存储索引的辅助索引。
PolyBase 的 Kerberos。

T-SQL

APS AU6 支持这些 T-SQL 兼容性改进。借助这些其他语言元素，可以更轻松地从 SQL Server 和其他数据源迁移。

除了 Windows 排序规则外，现在还支持列级 SQL 排序规则。
聚集列存储索引上的非聚集索引可以提高在聚集列存储索引中搜索特定值的查询的性能。
SELECT...INTO
sp_spaceused() 显示表或数据库中使用或保留的磁盘空间。
宽表支持与 SQL Server 2016 相同。以前的行大小限制 32 K 不再存在。

数据类型

VARCHAR(MAX)、NVARCHAR(MAX) 和 VARBINARY(MAX)。这些 LOB 数据类型的最大大小为 2 GB。若要加载这些对象，请使用 bcp 实用工具。 PolyBase 和 dwloader 目前不支持这些数据类型。
SYSNAME
UNIQUEIDENTIFIER
NUMERIC 和 DECIMAL 数据类型。

开窗函数

SELECT 语句的 OVER 子句中的 ROWS 或 RANGE。
FIRST_VALUE
LAST_VALUE
CUME_DIST
PERCENT_RANK

安全性函数

其他函数

PolyBase/Hadoop 增强功能

与 Hortonworks HDP 2.4 和 HDP 2.5 的兼容性
通过数据库范围的凭据支持 Kerberos
Azure 存储 Blob 支持凭据

安装和升级增强功能

企业体系结构更新：将现有设备升级到 APS AU6，即会安装最新固件和驱动程序更新，其中包括安全修补程序。

来自 HPE 或 DELL 的新设备包括所有最新更新以及：

最新一代的处理器支持 (Broadwell)
更新到 DDR4 DIMM
已改进 DIMM 生产量

集成

通过完全限定的域名 (FQDN) 支持，用户能够为设备设置域信任。
若要使用 FQDN，你需要在升级过程中执行完整升级并选择加入。

缩短故障时间 与之前的版本相比，安装或升级到 APS AU6 的速度更快，所需的故障时间也更短。若要缩短故障时间，请安装或升级：

使用包含截至 2016 年 6 月的所有更新的映像，简化应用 WSUS 更新
借助驱动程序和固件更新，应用安全更新程序
将最新的修补程序和设备验证实用工具 (PAV) 放在设备上，以便无需下载即可安装。

通过

Analytics Platform System（一种横向扩展 MPP 数据仓库）中的新增功能

APS CU7.8

SCVMM2016

APS CU7.7

SCVMM2016

将 SQL Server 2019 的 SSIS 目标适配器作为目标

APS CU7.6

重命名列

更改视图

APS CU7.5

更改外部数据源

PolyBase 支持 CDH 5.15 和 5.16

Try_Convert 和 Try_Cast 支持

APS CU7.4

使用 dwloader 加载大行

PolyBase 支持 HDP 3.0 和 3.1

PolyBase 支持 UTF16 文件

APS CU7.3

常见子表达式清除

已发布适用于 Informatica 10.2.0 的 APS Informatica 连接器

支持的版本

APS CU7.2

支持 TLS 1.2

Hadoop 加密区域支持 PolyBase

插入-选择 maxdop 选项

列存储索引运行状况 DMV

ORC 和 Parquet 文件的 PolyBase 日期范围增加

将 SQL Server 2017 的 SSIS 目标适配器作为目标

APS CU7.1

DBCC 命令不会占用并发槽（行为变更）

将某些元数据调用替换为目录对象

缺陷修复

APS AU7

自动创建和自动更新统计信息

T-SQL

功能开关

已知问题

APS 2016

SQL Server 2016

T-SQL

PolyBase/Hadoop 增强功能

安装和升级增强功能

反馈

其他资源