Compartir vía

Novedades de Analytics Platform System, un almacenamiento de datos MPP de escalabilidad horizontal

  • Artículo

Consulte las novedades de las últimas actualizaciones del dispositivo para Microsoft Analytics Platform System (APS). APS es un dispositivo local de escalabilidad horizontal que hospeda un almacenamiento de datos paralelos MPP de SQL Server.

APS CU7.8

Fecha de lanzamiento: noviembre de 2021

SCVMM2016

El software APS CU 7.8 agrega compatibilidad con la instalación sin conexión de SCVMM2016.

VMM revisado con la versión más reciente de SQL.

La versión también incluye actualizaciones de seguridad adicionales y correcciones de errores.

APS CU7.7

Fecha de lanzamiento: noviembre de 2020

SCVMM2016

El software APS CU7.7 actualiza la máquina virtual VMM a Windows Server 2016 e instala SCVMM2016. SCVMM 2012 R2, que está actualmente en uso, tiene una fecha de finalización del ciclo de vida de julio de 2022. Se necesita la versión más reciente de SCVMM para que CU7.7 sea una actualización obligatoria. Se insta a los clientes a actualizar a CU7.7 lo antes posible.

Adaptador de destino de SSIS para SQL Server 2019 como objetivo

El nuevo adaptador de destino de SSIS de APS que admite SQL Server 2019 como objetivo de implementación se puede descargar desde el sitio de descarga.

APS CU7.6

Fecha de lanzamiento: abril de 2020

Cambio del nombre de columna

Después de actualizar a CU7.6, los clientes podrán cambiar el nombre de una columna de una tabla creada por el usuario. Consulte RENAME (Transact-SQL) para ver la sintaxis, ejemplos, limitaciones y más información.

Modificación de vistas

Los clientes ahora podrán modificar las vistas. Para obtener más información, vea ALTER VIEW (Transact-SQL).

APS CU7.5

Fecha de lanzamiento: septiembre de 2019

Modificación de la definición del origen de datos externos

Los clientes podrán modificar la definición del origen de datos externos con la actualización CU7.5. Los clientes con alta disponibilidad del nodo de nombres de Hadoop ahora pueden modificar el origen de datos para cambiar los argumentos cuando se produce una conmutación por error. Para APS, solo se puede cambiar la LOCATION, RESOURCE_MANAGER_LOCATION y CREDENTIAL. Para más información, vea Modificación de la definición del origen de datos externos.

Compatibilidad de CDH 5.15 y 5.16 con PolyBase

PolyBase en APS con la actualización CU7.5 ahora admite las versiones CDH 5.15 y 5.16 de distribución de Hadoop desde Cloudera. Use la opción 6 para las versiones de CDH 5.x.

Compatibilidad con Try_Convert y Try_Cast

CU7.5 APS ahora admite las funciones de tsql TRY_CAST y TRY_CONVERT. Ambas funciones devuelven un valor convertido al tipo de datos especificado si la conversión se realiza correctamente; de lo contrario, devuelve NULL.

APS CU7.4

Fecha de lanzamiento: mayo de 2019

Carga de filas grandes con dwloader

A partir de APS CU7.4, los clientes podrán usar un nuevo dwloader para cargar filas en tablas que tienen más de 32 KB (32 768 bytes). El nuevo dwloader admite el modificador -l que toma un valor entero entre 32768 y 33554432 (en bytes) para cargar filas de más de 32 KB. Use esta opción solo al cargar filas grandes (mayores de 32 KB), ya que este conmutador asignará más memoria en el cliente y el servidor y puede ralentizar las cargas. Puede descargar el nuevo dwloader desde el sitio de descarga.

Compatibilidad de HDP 3.0 y 3.1 con PolyBase

PolyBase en APS ahora admite HDP 3.0 y 3.1 con esta actualización. Use la opción 7 para las versiones de HDP 3.x. Para obtener más información, consulte la página Conectividad de PolyBase.

Compatibilidad de archivos UTF16 con PolyBase

PolyBase ahora admite la lectura de archivos de texto delimitados que están en codificación UTF16 (LE). Consulte Creación de un formato de archivo externo para obtener información sobre la configuración.

APS CU7.3

Fecha de lanzamiento: diciembre de 2018

Eliminación de subexpresiones comunes

APS CU7.3 mejora el rendimiento de las consultas con la eliminación de subexpresión común en el optimizador de consultas SQL. La mejora optimiza las consultas de dos maneras. La primera ventaja es la capacidad de identificar y eliminar estas expresiones, eso ayuda a reducir el tiempo de compilación de SQL. La segunda y más importante ventaja es que las operaciones de movimiento de datos para estas subexpresiones redundantes se eliminan, por lo que el tiempo de ejecución de las consultas será más rápido. Puede encontrar una explicación detallada de esta característica aquí.

Se ha publicado el conector de APS Informatica para Informatica 10.2.0

Hemos publicado una nueva versión de conectores de Informatica para APS que funciona con Informatica versión 10.2.0 y 10.2.0 revisión 1. Los nuevos conectores se pueden descargar desde el sitio de descarga.

Nota:

El conector de APS Informatica para Informatica 10.2.0 o 10.2.0 revisión 1 no funciona en TLS1.2 estricto y requiere que TLS1.0 y 1.1 sean totalmente funcionales.

Versiones admitidas

Versión de APS Informatica PowerCenter Driver
APS 2016 9.6.1 SQL Server Native Client 11.x
APS 2016 y posteriores 10.2.0, 10.2.0 revisión 1 SQL Server Native Client 11.x

APS CU7.2

Fecha de lanzamiento: octubre de 2018

Compatibilidad con TLS 1.2

APS CU7.2 admite TLS 1.2. Ahora se puede establecer la máquina cliente en la comunicación entre APS y APS dentro del nodo para comunicarse solo a través de TLS1.2. Herramientas como SSDT, SSIS y Dwloader instaladas en máquinas cliente que están configuradas para comunicarse solo a través de TLS 1.2 ahora pueden conectarse a APS mediante TLS 1.2. De forma predeterminada, APS admitirá todas las versiones de TLS (1.0, 1.1 y 1.2) para la compatibilidad con versiones anteriores. Si desea establecer el dispositivo APS para que use estrictamente TLS 1.2, puede hacerlo cambiando la configuración del Registro.

Para más información, consulte Configuración de TLS1.2 en APS.

Compatibilidad de la zona de cifrado de Hadoop con PolyBase

PolyBase ahora puede comunicarse con zonas de cifrado de Hadoop. Consulte los cambios de configuración de APS necesarios para configurar la seguridad de Hadoop.

Opciones de Insert-Select maxdop

Hemos agregado un modificador de características que permite elegir una configuración maxdop superior a 1 para las operaciones insert-select. Ahora puede establecer la configuración de maxdop en 0, 1, 2 o 4. El valor predeterminado es 1.

Importante

Aumentar maxdop a veces puede dar lugar a errores de interbloqueo u operaciones más lentas. Si esto ocurre, cambie la configuración a maxdop 1 y vuelva a intentar la operación.

DMV de estado del índice de Almacén de columnas

Puede ver la información de mantenimiento del índice de almacén de columnas mediante la dmv dm_pdw_nodes_db_column_store_row_group_physical_stats. Use la vista siguiente para determinar la fragmentación y decidir cuándo recompilar o reorganizar un índice de almacén de columnas.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Aumento del intervalo de fechas de PolyBase para archivos ORC y Parquet

La lectura, importación y exportación de tipos de datos de fecha mediante PolyBase ahora admite fechas anteriores a 1970-01-01 y después de 2038-01-20 para los tipos de archivo ORC y Parquet.

Adaptador de destino de SSIS para SQL Server 2017 como objetivo

El nuevo adaptador de destino de SSIS de APS que admite SQL Server 2017 como objetivo de implementación se puede descargar desde el sitio de descarga.

APS CU7.1

Fecha de lanzamiento: julio de 2018

Los comandos DBCC no consumen espacios de simultaneidad (cambio en el comportamiento)

APS admite un subconjunto de comandos DBCC T-SQL como DBCC DROPCLEANBUFFERS. Anteriormente, estos comandos consumían un espacio de simultaneidad reduciendo el número de cargas y consultas de usuario que podían ejecutarse. Los comandos DBCC ahora se ejecutan en una cola local que no consumen un espacio de simultaneidad de usuario, lo que mejora el rendimiento general de la ejecución de consultas.

Reemplaza algunas llamadas de metadatos por objetos de catálogo

El uso de objetos de catálogo para llamadas de metadatos en lugar de usar SMO ha mostrado una mejora del rendimiento en APS. A partir de CU7.1, algunas de estas llamadas de metadatos ahora usan objetos de catálogo de forma predeterminada. Este comportamiento se puede desactivar mediante modificador de características si los clientes que usan consultas de metadatos encuentran cualquier problema.

Correcciones de errores

Hemos actualizado a SQL Server 2016 SP2 CU2 con APS CU7.1. La actualización corrige algunos problemas que se describen a continuación.

Título Descripción
Posible interbloqueo del motor de tupla La actualización corrige una posibilidad de larga duración de interbloqueo en una transacción distribuida y subproceso en segundo plano del motor de tupla. Después de instalar CU7.1, los clientes que usaron TF634 para detener el motor de tupla como parámetro de inicio de SQL Server o la marca de seguimiento global pueden quitarla de forma segura.
Se produce un error en determinadas consultas de retardo o adelanto Algunas consultas en tablas CCI con funciones de retardo o adelanto anidadas que podrían producir errores se han corregido con esta actualización.

APS AU7

Fecha de lanzamiento: mayo de 2018

APS 2016 es un requisito previo para actualizar a AU7. La siguientes características nuevas se incluyen en APS AU7:

Creación automática y actualización automática de estadísticas

APS AU7 crea y actualiza las estadísticas automáticamente de forma predeterminada. Para actualizar la configuración de estadísticas, los administradores pueden usar un nuevo elemento de menú modificador de características en Configuration Manager. El modificador de características controla el comportamiento de creación automática, actualización automática y actualización asincrónica de las estadísticas. También puede actualizar la configuración de estadísticas con la instrucción ALTER DATABASE (Almacenamiento de datos paralelos).

T-SQL

Ahora se puede seleccionar @var. Para más información, consulte Selección de una variable local

Ahora se admiten las sugerencias de consulta HASH y ORDER GROUP. Para obtener más información, consulte Sugerencias de consulta (Transact-SQL)

Conmutador de característica

APS AU7 presenta un conmutador de características en Configuration Manager. AutoStatsEnabled y DmsProcessStopMessageTimeoutInSeconds ahora son opciones configurables que los administradores pueden cambiar.

Problemas conocidos

Con el software APS AU7, se proporciona una actualización del BIOS de Intel que corrige un problema descrito como ataques de canal lateral de ejecución especulativa. Los ataques tienen como objetivo aprovecharse de las denominadas vulnerabilidades de Spectre y Meltdown. Aunque se empaqueta junto con APS, la actualización del BIOS se instala manualmente y no como parte de la instalación del software APS AU7.

Microsoft aconseja a todos los clientes que instalen el BIOS actualizado. Microsoft ha medido el efecto de Kernel Virtual Address Shadowing (KVAS), Kernel Page Table Indirection (KPTI) y la mitigación Indirect Branch Prediction (IBP) en varias cargas de trabajo de SQL en varios entornos. Las medidas encontraron una degradación significativa en algunas cargas de trabajo. En función de los resultados, la recomendación es que pruebe el efecto de rendimiento de habilitar la actualización del BIOS antes de implementarlas en un entorno de producción. Consulte la guía de SQL Server aquí.

APS 2016

En esta sección se describen las nuevas características de APS 2016-AU6.

SQL Server 2016

APS AU6 se ejecuta en la versión más reciente de SQL Server 2016 y usa el nivel de compatibilidad de base de datos predeterminado 130. SQL Server 2016 permite la compatibilidad con nuevas características como:

  • Índices secundarios para índices de almacén de columnas agrupados.
  • Kerberos para PolyBase.

T-SQL

APS AU6 admite estas mejoras de compatibilidad de T-SQL. Estos elementos de lenguaje adicionales facilitan la migración desde SQL Server y otros orígenes de datos.

Tipos de datos

Funciones de ventana

Funciones de seguridad

Funciones adicionales

Mejoras de PolyBase/Hadoop

  • Compatibilidad con Hortonworks HDP 2.4 y HDP 2.5
  • Compatibilidad con Kerberos mediante credenciales con ámbito de base de datos
  • Compatibilidad de credenciales con blobs de Azure Storage

Mejoras de instalación y actualización

Actualizaciones de arquitectura empresarial Actualizar el dispositivo existente a APS AU6 instala las actualizaciones más recientes de firmware y controladores, que incluyen correcciones de seguridad.

Un nuevo dispositivo de HPE o DELL incluye todas las últimas actualizaciones más:

  • Compatibilidad con procesadores de última generación (Broadwell)
  • Actualización a DIMM DDR4
  • Rendimiento de DIMM mejorado

Integración

  • La compatibilidad con nombre de dominio completo (FQDN) permite configurar una confianza de dominio en el dispositivo.
  • Para usar FQDN, debe realizar una actualización completa y optar por recibir durante la actualización.

Tiempo de inactividad reducido Instalar o actualizar a APS AU6 es más rápido y requiere menos tiempo de inactividad que las versiones anteriores. Para reducir el tiempo de inactividad, la instalación o actualización:

  • Simplifica la aplicación de actualizaciones de WSUS mediante una imagen que contiene todas las actualizaciones hasta junio de 2016
  • Aplica actualizaciones de seguridad con el controlador y las actualizaciones de firmware
  • Coloca las revisiones más recientes y la utilidad de comprobación del dispositivo (PAV) en el dispositivo para que estén listos para instalarse sin necesidad de descargarlos.