Выделенный пул SQL (ранее — Хранилище данных SQL) в Azure Synapse Analytics — заметки о выпуске
В этой статье перечислены новые функции и улучшения в последних выпусках выделенного пула SQL (ранее — Хранилище данных SQL) в Azure Synapse Analytics. В ней также указаны заметные обновления содержимого, которые не связаны напрямую с выпуском, но опубликованы в тот же интервал времени. Улучшения других служб Azure см. в статье Обновления Azure.
Проверка версии выделенного пула SQL (ранее — Хранилище данных SQL)
Так как новые функции развертываются во всех регионах, проверьте, какая версия развернута в вашем экземпляре, а также изучите актуальные заметки о выпуске, чтобы узнать о доступности функции. Чтобы проверить версию, подключитесь к своему выделенному пулу SQL (ранее — Хранилище данных SQL) с помощью SQL Server Management Studio (SSMS) и запустите SELECT @@VERSION;, чтобы получить текущую версию. Используйте эту версию, чтобы проверить, какой выпуск применялся к вашему выделенному пулу SQL (ранее — Хранилище данных SQL). Дата в выходных данных указывает на месяц выпуска, который применялся к вашему выделенному пулу SQL (ранее — Хранилище данных SQL). Он применяется только к улучшениям на уровне службы.
Для улучшений инструментов убедитесь, что у вас установлена правильная версия, указанная в заметке о выпуске.
Примечание.
Имя продукта, возвращенное с помощью команды SELECT @@VERSION, изменится: вместо Microsoft Azure SQL Data Warehouse будет Microsoft Azure Synapse Analytics. Перед внесением изменений будет отправлено дополнительное уведомление. Это изменение относится к клиентам, которые анализируют название продукта по результату команды SELECT @@VERSION в коде приложения. Чтобы избежать изменений кода приложения из-за перебранки продукта, используйте эти команды для запроса SERVERPROPERTY для имени и версии базы данных: чтобы вернуть номер версии XX.X.XXXXX.X (без имени продукта) используйте следующую команду:
SELECT SERVERPROPERTY('ProductVersion')
--To return engine edition, use this command that returns 6 for Azure Synapse Analytics:
SELECT SERVERPROPERTY('EngineEdition')
Декабрь 2020 г.
| Улучшения службы | Сведения |
|---|---|
| Хранимая процедура sp_rename для столбцов (предварительная версия) | Переименование столбца без CTAS стало еще проще. Azure Synapse SQL теперь поддерживает системную хранимую процедуру sp_rename (предварительная версия) для переименования столбца без распределения в пользовательской таблице. Эта функция в настоящее время находится в предварительной версии и будет поддерживаться в инструментах GA. Подробные сведения см. в статье sp_rename. |
| Дополнительный параметр для Predict T-SQL | В этом новом выпуске добавлен обязательный дополнительный параметр с именем "RUNTIME" для существующей инструкции PREDICT T-SQL. Для обновления существующих скриптов см. примеры в статье PREDICT T-SQL. |
Октябрь 2020 г.
| Улучшения службы | Сведения |
|---|---|
| Встроенные функции с табличным значением T-SQL (предварительная версия) | В этом выпуске теперь можно создавать встроенные функции с табличным значением с помощью Transact-SQL и запрашивать их результаты, как в таблице. Эта функция в настоящее время находится в предварительной версии и будет поддерживаться в инструментах GA. Дополнительные сведения см. в статье CREATE FUNCTION (Azure Synapse Analytics). |
| Команда MERGE (предварительная версия) | Теперь можно выполнять операции вставки, обновления или удаления для целевой таблицы на основе результатов соединения с исходной таблицей. Например, можно синхронизировать две таблицы, вставляя, обновляя или удаляя строки в одной таблице на основе различий, обнаруженных в другой таблице. Дополнительные сведения см. в статье MERGE. |
Авг 2020
| Улучшения службы | Сведения |
|---|---|
| Интерфейс портала управления рабочими нагрузками | Пользователи могут настраивать параметры управления рабочей нагрузкой и управлять ими с помощью портала Azure. Вы можете настраивать важные группы рабочей нагрузки и классификаторы рабочей нагрузки. |
| Улучшено представление каталога сопоставления таблиц | Новое представление каталога sys.pdw_permanent_table_mappings сопоставляет object_ids постоянных пользовательских таблиц с их именами физических таблиц. |
Июль 2020
| Улучшения службы | Сведения |
|---|---|
| Шифрование на уровне столбцов (общедоступная предварительная версия) | Защитите конфиденциальную информацию в Azure Synapse Analytics, применив симметричное шифрование к столбцу данных с помощью Transact-SQL. Шифрование на уровне столбцов содержит встроенные функции, которые можно использовать для шифрования данных с помощью симметричных ключей, которые дополнительно защищаются сертификатом, паролем, симметричным ключом или асимметричным ключом. Дополнительные сведения см. в статье Шифрование столбца данных. Эта функция стала общедоступной. |
| Поддержка уровня совместимости (GA) | В этом выпуске пользователи теперь могут задать уровень совместимости базы данных, чтобы определять язык Transact-SQL и поведение обработки запросов конкретной версии ядра Synapse SQL. Дополнительные сведения см. в статьях sys.database_scoped_configurations (Transact-SQL) и ALTER DATABASE SCOPED CONFIGURATION (Transact-SQL). |
| Безопасность на уровне строк | Этот выпуск включает в себя улучшение операций обновления и удаления строк с принудительным применением RLS. В этом выпуске операции обновления и удаления со встроенными функциями, такими как is_rolemember, будут выполнены, если встроенная функция не ссылается на какой-либо столбец в целевой таблице DML. До этого улучшения эти операции приводили к сбою из-за ограничений в базовых операциях DML. |
| DBCC SHRINKDATABASE (GA) | Теперь можно сокращать размер файлов данных и файлов журнала в указанной базе данных. Дополнительные сведения см. в документации. |
Май 2020 г.
| Улучшения службы | Сведения |
|---|---|
| Изоляция рабочей нагрузки (GA) | Изоляция рабочей нагрузки теперь общедоступна. С помощью групп рабочей нагрузки можно резервировать и содержать ресурсы. Вы также можете настроить время ожидания запросов на отмену неконтролируемых запросов. |
| Интерфейс портала управления рабочими нагрузками (предварительная версия) | Пользователи могут настраивать параметры управления рабочей нагрузкой и управлять ими с помощью портала Azure. Вы можете настраивать важные группы рабочей нагрузки и классификаторы рабочей нагрузки. |
| ALTER WORKLOAD GROUP | Теперь доступна возможность использовать команду ALTER WORKLOAD GROUP. С помощью команды ALTER вы можете изменять конфигурацию существующей группы рабочей нагрузки. |
| Автоматическое обнаружение схемы файлов Parquet с помощью команды COPY (предварительная версия) | Команда COPY теперь поддерживает автоматическое обнаружение схемы при загрузке файлов Parquet. Команда автоматически обнаруживает схему файла Parquet и создает таблицу перед загрузкой. Чтобы включить эту функцию, обратитесь к следующему списку рассылки электронной почты: sqldwcopypreview@service.microsoft.com. |
| Загрузка сложных типов данных Parquet с помощью команды COPY (предварительная версия) | Команда COPY теперь поддерживает загрузку сложных типов Parquet. Сложные типы, такие как Maps и Lists, можно загружать в строковые столбцы. Чтобы включить эту функцию, обратитесь к следующему списку рассылки электронной почты: sqldwcopypreview@service.microsoft.com. |
| Автоматическое обнаружение сжатия файлов Parquet с помощью команды COPY | Команда COPY теперь поддерживает автоматическое обнаружение метода сжатия файлов Parquet. Чтобы включить эту функцию, обратитесь к следующему списку рассылки электронной почты: sqldwcopypreview@service.microsoft.com. |
| Дополнительные рекомендации по загрузке | Рекомендации по загрузке теперь доступны для Synapse SQL. Получайте упреждающие уведомления, если нужно разбить файлы, чтобы обеспечить максимальную пропускную способность, совместно разместить учетную запись хранения с использованием вашего выделенного пула SQL (ранее — Хранилище данных SQL) или увеличить размер пакета при использовании таких служебных программ для загрузки, как API SQLBulkCopy или BCP. |
| Обновляемый столбец распределения T-SQL (GA) | Теперь пользователи могут обновлять данные, хранимые в столбце распределения. Для получения дополнительных сведений ознакомьтесь с руководством по проектированию распределенных таблиц в выделенном пуле SQL (ранее — Хранилище данных SQL). |
| T-SQL: обновление и удаление из объединений (GA) | Теперь доступна возможность выполнять обновления и удаления на основе результатов объединения с другой таблицей. Дополнительные сведения см. в документации по командам Update и Delete. |
| PREDICT T-SQL (предварительная версия) | Теперь вы можете прогнозировать модели машинного обучения в хранилище данных, избегая больших и сложных перемещений данных. Для работы функции PREDICT T-SQL необходимо иметь открытую платформу моделей и использовать данные и модель машинного обучения в качестве входных данных для создания прогнозов. Дополнительные сведения см. в этой документации. |
Апрель 2020 г.
| Улучшения службы | Сведения |
|---|---|
| Уровень совместимости базы данных (предварительная версия) | В этом выпуске пользователи теперь могут задать уровень совместимости базы данных, чтобы определять язык Transact-SQL и поведение обработки запросов конкретной версии ядра Synapse SQL. Дополнительные сведения см. в статьях sys.database_scoped_configurations (Transact-SQL) и ALTER DATABASE SCOPED CONFIGURATION (Transact-SQL). |
| sp_describe_undeclared_parameters | Позволяет пользователям просматривать метаданные о необъявленных параметрах в пакете Transact-SQL. Дополнительные сведения см. в статье sp_describe_undeclared_parameters (Transact-SQL). |
| Улучшения инструментов | Сведения |
|---|---|
| Visual Studio 16.6 (предварительная версия 5) — SQL Server Data Tools (SSDT) | Этот выпуск включает следующие улучшения для SSDT: — Обнаружение и классификация данных — инструкция COPY — таблицы с ограничениями уникальности; — таблицы с упорядоченным кластеризованным индексом columnstore. Этот выпуск включает следующие исправления для SSDT: — при изменении типа данных столбца распределения скрипт обновления, созданный SSDT, будет выполнять операции CTAS и RENAME вместо удаления и повторного создания таблицы. |
Март 2020 г.
| Улучшения инструментов | Сведения |
|---|---|
| Visual Studio 16.6 (предварительная версия 2) — SQL Server Data Tools (SSDT) | Этот выпуск включает следующие улучшения и исправления для SSDT. Устранена проблема, из-за которой изменение таблицы, на которую ссылается материализованное представление (MV), приводит к созданию инструкций Alter View, которые не поддерживаются для MV — Реализовано изменение, которое гарантирует, что операция Сравнения схем не завершится ошибкой, если в базе данных или проекте имеются объекты безопасности на уровне строк. Сейчас объекты безопасности на уровне строк не поддерживаются для SSDT. — Пороговое значение времени ожидания обозревателя объектов SQL Server было увеличено, чтобы избежать превышения времени ожидания при перечислении большого количества объектов в базе данных. — Оптимизирован способ извлечения обозревателем объектов SQL Server списка объектов базы данных, чтобы снизить нестабильность работы и повысить производительность при заполнении обозревателя объектов. |
Январь 2020 г.
| Улучшения службы | Сведения |
|---|---|
| Метрики портала управления рабочими нагрузками (предварительная версия) | Используя предварительный выпуск функции изоляции рабочей нагрузки за прошлый октябрь, пользователи могли создавать собственные группы рабочей нагрузки для эффективного управления системными ресурсами и обеспечения соблюдения Соглашений об уровне обслуживания для бизнеса. В рамках общих усовершенствований управления рабочими нагрузками для Azure Synapse Analytics теперь доступны новые метрики мониторинга управления рабочими нагрузками. Мониторинг рабочей нагрузки теперь имеет больше аналитических сведений со следующими метриками: — действующий процент ресурсов — действующий минимальный процент ресурсов — активные запросы рабочей нагрузки — распределение группы рабочей нагрузки на максимальный процент ресурсов — распределение группы рабочих нагрузок по системным процентам — время ожидания запросов группы рабочей нагрузки — запросы группы рабочих нагрузок, очередные запросы , используйте эти метрики для выявления узких мест группы рабочих нагрузок. или группы рабочей нагрузки, настроенные с недостаточной изоляцией рабочей нагрузки. Эти метрики можно использовать на портале Azure, где возможно разделение по группам рабочей нагрузки. Отфильтруйте и закрепите избранные графики на панели мониторинга, чтобы получать быстрый доступ к аналитическим сведениям. |
| Метрики мониторинга на портале | На портале были добавлены следующие метрики для мониторинга общего действия запроса: — активные запросы — запросы с очередью эти метрики описаны вместе с существующими метриками в документации по использованию ресурсов мониторинга и действиям запросов. |
2019 октября
| Улучшения службы | Сведения |
|---|---|
| COPY (предварительная версия) | Мы рады сообщить об общедоступной предварительной версии простой и гибкой инструкции COPY для приема данных. С помощью одной инструкции теперь можно легко принять данные с дополнительной гибкостью и без необходимости привлечения привилегированных пользователей. Дополнительные сведения см. в документации по команде COPY. |
| Изоляция рабочей нагрузки (предварительная версия) | Чтобы поддержать клиентов в процессе демократизации хранилищ данных, мы предоставляем новые возможности интеллектуального управления рабочими нагрузками. Новая функция изоляции рабочей нагрузки позволяет управлять выполнением разнородных рабочих нагрузок, обеспечивая гибкость и контроль над ресурсами хранилища данных. Это повышает прогнозируемость выполнения и расширяет возможности удовлетворения стандартных Соглашений об уровне обслуживания. Помимо изоляции рабочей нагрузки, теперь доступны дополнительные параметры для классификации рабочих нагрузок. Помимо классификации имени для входа, синтаксис создания классификатора рабочих нагрузок предоставляет возможность классифицировать запросы на основе метки запроса, контекста сеанса и времени. |
| PREDICT (предварительная версия) | Теперь вы можете оценивать модели машинного обучения в хранилище данных, избегая больших и сложных перемещений данных. Для работы функции PREDICT T-SQL необходимо иметь открытую платформу моделей и использовать данные и модель машинного обучения в качестве входных данных для создания прогнозов. |
| SSDT CI/CD (GA) | Сегодня мы рады сообщить о выходе общедоступной версии наиболее ожидаемой функции для Аналитики SQL — о проекте “База данных SQL Server Data Tools (SSDT)”. Этот выпуск включает поддержку SSDT с Visual Studio 2019 вместе с интеграцией собственной платформы с помощью Azure DevOps и предоставляет встроенные возможности непрерывной интеграции и развертывания (CI/CD) для развертываний на уровне предприятия. |
| Материализованное представление (GA) | Материализованное представление хранит данные, возвращенные запросом определения представления, и автоматически обновляется после изменений данных в базовых таблицах. Это повышает производительность сложных запросов (обычно запросы с объединениями и агрегатами), а также упрощает обслуживание. Дополнительные сведения см. в статье Настройка производительности с помощью материализованных представлений. Установите SQL Server Management Studio 18.4 или более поздней версии, чтобы создать скрипты материализованных представлений. |
| Динамическое маскирование данных (GA) | Функция динамического маскирования данных предотвращает несанкционированный доступ к вашим конфиденциальным данным в хранилище данных благодаря немедленному их маскированию в результатах запроса. При этом используются заданные вами правила маскирования. Дополнительную информацию см. в статье Динамическое маскирование данных. |
| Изоляция фиксированных данных с моментальным снимком (общедоступная версия) | С помощью инструкции ALTER DATABASE можно включить или отключить изоляцию моментального снимка пользовательской базы данных. Чтобы не влиять на текущую рабочую нагрузку, этот параметр можно задать во время периода обслуживания базы данных или дождаться, пока не останется других активных подключений к базе данных. Дополнительные сведения см. в описании параметров ALTER DATABASE SET. |
| Упорядоченный кластеризованный индекс columnstore (GA) | Columnstore — это основная возможность хранения и эффективного запрашивания больших объемов данных. Упорядоченные кластеризованные индексы columnstore еще больше оптимизируют выполнение запросов, так как они обеспечивают эффективную корректировку сегментов. Дополнительные сведения см. в статье Настройка производительности с помощью упорядоченного кластеризованного индекса columnstore. |
| RESULT SET CACHING (общедоступная версия) | Если включено кэширование результирующего набора, результаты запроса автоматически кэшируются в пользовательской базе данных для многократного использования. Это позволяет последующим запросам получать результаты непосредственно из материализованного кэша, поэтому перерасчет не требуется. Кэширование результирующего набора улучшает производительность запросов и сокращает использование ресурсов вычислений. Кроме того, запросы, использующие кэшированный результирующий набор, не используют слоты выдачи и поэтому не учитываются для существующих ограничений параллелизма. В целях безопасности пользователи могут получить доступ к кэшированным результатам только в том случае, если они имеют те же разрешения на доступ к данным, что и пользователи, создающие кэшированные результаты. Дополнительные сведения см. в статье Настройка производительности путем кэширования результирующего набора. Применимо к версии 10.0.10783.0 или выше. |
Сентябрь 2019
| Улучшения службы | Сведения |
|---|---|
| Приватный канал Azure (предварительная версия) | С помощью службы Приватный канал Azure можно создать частную конечную точку в виртуальной сети (VNet) и сопоставить ее с выделенным пулом SQL. Доступ к этим ресурсам затем можно будет получить, используя частный IP-адрес в виртуальной сети, что позволяет осуществлять подключение из локальной среды через частный пиринг Azure ExpressRoute и VPN-шлюз. В целом, это упрощает настройку сети за счет того, что вам не нужно ее открывать для общедоступных IP-адресов. Это также обеспечивает защиту от риска извлечения данных. Дополнительные сведения см. в статьях Что собой представляет Приватный канал Azure? и Приватный канал Azure для базы данных SQL Azure и Azure Synapse Analytics. |
| Обнаружение и классификация данных (GA) | Функция обнаружения и классификации данных теперь является общедоступной. Эта функция предоставляет расширенные возможности для обнаружения, классификации, добавления меток и защиты конфиденциальных данных в базах данных. |
| Интеграция Помощника по Azure одним щелчком | Аналитика SQL в Azure Synapse теперь напрямую интегрируется с рекомендациями Помощника по Azure в колонке обзора одним щелчком. Теперь вы можете найти рекомендации в колонке обзора, а не переходить к колонке Помощника по Azure. Дополнительные рекомендации см. здесь. |
| Уровень изолированности Read Committed (чтение фиксированных данных) c моментальным снимком (предварительная версия) | С помощью инструкции ALTER DATABASE можно включить или отключить изоляцию моментального снимка пользовательской базы данных. Чтобы не влиять на текущую рабочую нагрузку, этот параметр можно задать во время периода обслуживания базы данных или дождаться, пока не останется других активных подключений к базе данных. Дополнительные сведения см. в описании параметров ALTER DATABASE SET. |
| EXECUTE AS (Transact-SQL) | Поддержка EXECUTE AS T-SQL теперь позволяет клиентам задать контекст выполнения сеанса для указанного пользователя. |
| Дополнительная поддержка T-SQL | Контактная зона языка T-SQL для Synapse SQL расширена и теперь обеспечивает поддержку: - FORMAT (Transact-SQL) - TRY_PARSE (Transact-SQL) - TRY_CAST (Transact-SQL) - TRY_CONVERT (Transact-SQL) - sys.user_token (Transact-SQL) |
Июль 2019 г.
| Улучшения службы | Сведения |
|---|---|
| Материализованное представление (предварительная версия) | Материализованное представление хранит данные, возвращенные запросом определения представления, и автоматически обновляется после изменений данных в базовых таблицах. Это повышает производительность сложных запросов (обычно запросы с объединениями и агрегатами), а также упрощает обслуживание. Дополнительные сведения см. - в статье CREATE MATERIALIZED VIEW AS SELECT (Transact-SQL) - ALTER MATERIALIZED VIEW (Transact-SQL) - T-SQL, поддерживаемые в Synapse SQL. |
| Дополнительная поддержка T-SQL | Контактная зона языка T-SQL для Synapse SQL была расширена и теперь обеспечивает поддержку: - AT TIME ZONE (Transact-SQL) - STRING_AGG (Transact-SQL) |
| RESULT SET CACHING (предварительная версия) | Добавлены команды DBCC для управления ранее объявленным кэшем результирующего набора. Дополнительные сведения см. в статье DBCC DROPRESULTSETCACHE (Transact-SQL) - DBCC SHOWRESULTCACHESPACEUSED (Transact-SQL) Также см. - новый столбец result_set_cache в sys.dm_pdw_exec_requests, который показывает, когда выполненный запрос использовал кэш результирующих наборов. |
| Упорядоченный кластеризованный индекс columnstore (предварительная версия) | Новый столбец column_store_order_ordinal, добавленный в sys.index_columns, чтобы определить порядок столбцов в упорядоченном кластеризованном индексе columnstore. |
2019 мая
| Улучшения службы | Сведения |
|---|---|
| Динамическое маскирование данных (предварительная версия) | Функция динамического маскирования данных предотвращает несанкционированный доступ к вашим конфиденциальным данным в хранилище данных благодаря немедленному их маскированию в результатах запроса. При этом используются заданные вами правила маскирования. Дополнительную информацию см. в статье Динамическое маскирование данных. |
| Функция приоритета рабочих нагрузок теперь общедоступна | Классификация и важность управления рабочими нагрузками позволяют определять порядок выполнения запросов. Дополнительные сведения об уровне важности рабочих нагрузок см. в обзорных статьях об их классификации и важности. Также ознакомьтесь с документацией CREATE WORKLOAD CLASSIFIER. Чтобы увидеть функцию приоритета рабочих нагрузок в действии, просмотрите приведенные ниже видео: -Основные понятия, связанные с управлением рабочими нагрузками -Сценарии управления рабочими нагрузками |
| Дополнительная поддержка T-SQL | Контактная зона языка T-SQL для Synapse SQL была расширена и теперь обеспечивает поддержку: - TRIM |
| Функций JSON | Бизнес-аналитики теперь могут использовать знакомый язык T-SQL для запроса и обработки документов, отформатированных как данные JSON, используя следующие новые функции JSON: - ISJSON - JSON_VALUE - JSON_QUERY - JSON_MODIFY - OPENJSON |
| RESULT SET CACHING (предварительная версия) | Кэширование наборов результатов позволяет мгновенно отреагировать на запросы, сокращая время анализа бизнес-аналитиков и пользователей отчетов. Дополнительные сведения см. в статьях: - ALTER DATABASE (Transact-SQL) - Параметры ALTER DATABASE SET (Transact SQL) - SET RESULT SET CACHING (Transact-SQL) - Оператор SET (Transact-SQL) - sys.databases (Transact-SQL) |
| Упорядоченный кластеризованный индекс columnstore (предварительная версия) | Columnstore — это основная возможность хранения и эффективного запрашивания больших объемов данных. Для каждой таблицы входящие данные делятся на группы строк, а каждый столбец группы строк составляет сегмент на диске. Упорядоченные кластеризованные индексы columnstore еще больше оптимизируют выполнение запросов, так как они обеспечивают эффективную корректировку сегментов. Дополнительные сведения см. в статье - CREATE TABLE - CREATE COLUMNSTORE INDEX (Transact-SQL). |
март 2019 г.
| Улучшения службы | Сведения |
|---|---|
| Обнаружение и классификация данных | Функции обнаружения и классификации данных теперь доступны в общедоступной предварительной версии для Synapse SQL. Важно защищать конфиденциальные данные и конфиденциальность ваших клиентов. По мере роста бизнес-ресурсов и данных клиентов обнаружение, классификацию и защиту данных нельзя контролировать. Функция обнаружения и классификации данных, которую мы внедрили в Synapse SQL, помогает сделать ваши данные более управляемыми. Основные преимущества таких возможностей: • Соблюдение стандартов конфиденциальности данных и нормативных требований к соответствию. • Ограничение доступа к хранилищам данных, содержащим конфиденциальные данные, и усиление их защиты. • Мониторинг и оповещение о необычном доступе к конфиденциальным данным. • Визуализация конфиденциальных данных на центральной панели мониторинга на портале Azure. Обнаружение и классификация данных доступна во всех регионах Azure, она входит в состав расширенной системы безопасности данных, включая оценку уязвимостей и обнаружение угроз. Дополнительные сведения об обнаружении и классификации данных см. в записи блога, а также в электронной документации. |
| GROUP BY ROLLUP | ROLLUP теперь поддерживается параметром GROUP BY. GROUP BY ROLLUP создает группу для каждого сочетания выражений столбцов. GROUP BY также выполняет сведение результатов в промежуточные и общие итоги. Функция GROUP BY обрабатывает справа налево, уменьшая количество выражений столбцов, по которым она создает группы и агрегаты. Порядок столбцов влияет на выходные данные ROLLUP и может отразиться на количестве строк в результирующем наборе. Дополнительные сведения о GROUP BY ROLLUP см. в статье GROUP BY (Transact-SQL). |
| Повышена точность использования DWU и метрик на портале ЦП | Synapse SQL значительно повышает точность метрик на портале Azure. Этот выпуск включает в себя исправление для ЦП и определение метрики использования DWU, чтобы правильно отразить рабочую нагрузку на всех вычислительных узлах. До этого исправления значений метрик были занижены. Вы должны увидеть увеличение количества используемых DWU и метрик ЦП на портале Azure. |
| Безопасность на уровне строк | Мы представили возможности безопасности на уровне строк в ноябре 2017 г. Теперь эта поддержка также распространяется на внешние таблицы. Кроме того, добавлена поддержка вызова недетерминированных функций во встроенных функциях с табличным значением (встроенные TVFs), необходимых для определения предиката фильтра безопасности. Это добавление позволяет указать IS_ROLEMEMBER(), USER_NAME() и т. д. в предикате фильтра безопасности. Дополнительные сведения см. в примерах документации по безопасности на уровне строк. |
| Дополнительная поддержка T-SQL | Контактная зона языка T-SQL для Synapse SQL была расширена и включает поддержку для STRING_SPLIT (Transact-SQL). |
| Улучшения оптимизатора запросов | Оптимизация запросов — это критический компонент любой базы данных. Выбор оптимального способа выполнения запроса может привести к его значительному улучшению. При выполнении сложных аналитических запросов в распределенной среде количество выполненных операций имеет огромное значение. Производительность запросов была повышена за счет создания планов лучшего качества. Эти планы снижают объем ресурсоемких операций по переносу данных и избыточных вычислений, таких как повторяющиеся вложенные запросы. Дополнительные сведения см. в этой записи блога Azure Synapse. |
Улучшения документации
| Улучшения документации | Сведения |
|---|---|
январь 2019 г.
Улучшения службы
| Улучшения службы | Сведения |
|---|---|
| Оптимизация возврата результатов запросов по порядку | В этом выпуске повышается производительность запросов SELECT...ORDER BY. Теперь все вычислительные узлы отправляют свои результаты в один вычислительный узел. Этот узел объединяет и сортирует результаты, а затем возвращает их пользователю. Объединение через один вычислительный узел обеспечивает прирост производительности, если результирующий набор запросов содержит большое количество строк. Ранее подсистема выполнения запросов упорядочивала результаты на каждом вычислительном узле. Эти результаты потоково передавались на управляющий узел. Затем управляющий узел объединял результаты. |
| Усовершенствования перемещения данных для PartitionMove и BroadcastMove | Действия перемещения данных типа ShuffleMove используют методики мгновенного перемещения данных. Дополнительные сведения см. в блоге по улучшению производительности. В этом выпуске PartitionMove и BroadcastMove теперь основаны на тех же методиках мгновенного перемещения данных. Запросы пользователей, которые используют эти типы действий перемещения данных, будут выполняться с повышенной производительностью. Чтобы воспользоваться преимуществами улучшений производительности, не нужно вносить изменения в код. |
| Важные ошибки | Неправильная версия Azure Synapse. SELECT @@VERSION может вернуть неправильную версию 10.0.9999.0. Правильная версия текущего выпуска — 10.0.10106.0. Эта ошибка нам известна и находится на рассмотрении. |
Улучшения документации
| Улучшения документации | Сведения |
|---|---|
| ничего | |
декабрь 2018 г.
Улучшения службы
| Улучшения службы | Сведения |
|---|---|
| Общедоступные конечные точки служб для виртуальной сети | Этот выпуск включает общедоступную версию конечных точек службы виртуальной сети для Аналитики SQL в Azure Synapse во всех регионах Azure. Конечные точки виртуальной сети позволяют изолировать подключение к серверу из заданной подсети или набора подсетей в виртуальной сети. Трафик, поступающий из виртуальной сети в Azure Synapse, всегда остается в магистральной сети Azure. Этот прямой маршрут предпочтительнее, чем какие-либо специальные маршруты, предполагающие прием трафика из Интернета через виртуальные модули или локальные службы. Дополнительная плата за доступ к виртуальной сети через конечные точки службы не взимается. Текущая модель ценообразования для Azure Synapse применяется без изменений. В этом выпуске также реализовано подключение PolyBase к Azure Data Lake Storage 2-го поколения (ADLS) через драйвер файловой системы больших двоичных объектов Azure (ABFS). Хранилище Azure Data Lake Storage 2-го поколения обладает всеми качествами, необходимыми для выполнения каждого из этапов жизненного цикла данных аналитики для службы хранилища Azure. В нем объединены возможности двух существующих служб хранилища Azure (хранилище BLOB-объектов Azure и ADLS 1-го поколения). Функции, описанные в статье Документация по Azure Data Lake Storage Gen1, например семантика файловой системы, защита на уровне файлов и масштабирование, объединены с экономичностью, многоуровневостью, возможностями высокой доступности и аварийного восстановления хранилища BLOB-объектов Azure. С помощью PolyBase также можно импортировать данные в Аналитику SQL в Azure Synapse из службы хранилища Azure, закрепленной за вашей виртуальной сетью. Кроме того, PolyBase поддерживает экспорт данных из Azure Synapse в службу хранилища Azure, закрепленную за вашей виртуальной сетью. Дополнительные сведения о конечных точках службы виртуальной сети в Azure Synapse см. в записи блога или документации. |
| Автоматический мониторинг производительности (предварительная версия) | Хранилище запросов теперь доступно в предварительной версии Аналитики SQL в Azure Synapse. Хранилище запросов упрощает устранение проблем с производительностью запросов за счет отслеживания запросов, планов запросов, статистики среды выполнения и журнала запросов, с помощью которых можно выполнять мониторинг активности и производительности хранилища данных. Хранилище запросов — это набор внутренних хранилищ и динамических административных представлений (DMV), с помощью которых можно: • Выявить и настроить запросы, использующие больше всего ресурсов. • Определить и улучшить внеплановые рабочие нагрузки. • Оценить производительность запросов и влияние на план в случае изменений в статистике, индексах и размерах системы (параметр DWU). • Ознакомиться с полным текстом всех выполняемых запросов. Хранилище запросов содержит три фактических хранилища: • Хранилище планов для сохранения сведений о планах выполнения. • Хранилище статистики времени выполнения для хранения статистических сведений о выполнении. • Хранилище статистики ожидания для хранения статистических сведений об ожидании. Аналитика SQL в Azure Synapse автоматически управляет этими хранилищами и позволяет просматривать неограниченное число запросов, сохраненных за последние семь дней, без дополнительной платы. Включение хранилище запросов выполняется как простая инструкция ALTER DATABASE T-SQL: sql ----ALTER DATABASE [DatabaseName] SET QUERY_STORE = ON;------- Дополнительные сведения о хранилище запросов и динамических административных представлениях этого хранилища, например sys.query_store_query, см. в статье Мониторинг производительности с использованием хранилища запросов. Дополнительные сведения об анализе исторических запросов см. в статье Хранение и анализ исторических запросов в Azure Synapse Analytics. |
| Более низкие уровни вычислений для Аналитики SQL | Аналитика SQL в Azure Synapse теперь поддерживает более низкие уровни вычислений. Клиенты могут оценить лучшую производительность, гибкость и возможности безопасности Azure Synapse, начиная со 100 cDWU (вычислительные единицы использования хранилища данных), и увеличивать масштаб до 30 000 cDWU за считаные минуты. Начиная с середины декабря 2018 года клиенты могут использовать преимущества производительности и гибкость 2-го поколения на низких уровнях вычислений в этих регионах. Поддержка для остальных регионов станет доступна в течение 2019 года. Обеспечив точку входа для хранилищ данных следующего поколения, корпорация Майкрософт открыла возможности для ориентированных на прибыль пользователей, которые хотят оценить все преимущества безопасного, высокопроизводительного хранилища данных, не тратя время на поиски наиболее подходящей для них пробной среды. Пользователи могут начать со 100 cDWU (ниже чем текущая точка входа в 500 cDWU). Аналитики SQL продолжают поддерживать операции остановки и возобновления и выходят за рамки простой гибкости при вычислениях. 2 поколение также поддерживает неограниченную емкость хранилища столбцов, а также в 2,5 раза больше памяти для каждого запроса, до 128 одновременных запросов и функции адаптивного кэширования. Эти функции в среднем дают в пять раз большую производительность по сравнению с той же единицей использования хранилища данных 1-го поколения за ту же цену. Геоизбыточные резервные копии являются стандартными для 2-го поколения и обеспечивают встроенную гарантированную защиту данных. Аналитика SQL в Azure Synapse может выполнить масштабирование, когда вам нужно. |
| Слияния в фоновом режиме columnstore | По умолчанию Azure SQL Data Warehouse хранит данные в виде столбцов с микроразделами, которые называются группами строк. Иногда из-за ограничений памяти при построении индекса или времени загрузки данных, группы строк могут быть сжаты в размере и содержать меньше одного миллиона строк, что является оптимальным размером. Группы строк могут также стать фрагментированными из-за удалений. Небольшие или фрагментированные группы строк приводят к более высокому потреблению памяти, а также к неэффективному выполнению запросов. В этом выпуске задача фонового обслуживания columnstore объединяет небольшие сжатые группы строк, создавая большие группы строк, чтобы лучше использовать память и ускорить выполнение запросов. |
2018 октября
Улучшения службы
| Улучшения службы | Сведения |
|---|---|
| DevOps для систем хранения данных | Часто запрашиваемая функция для Synapse SQL в Azure Synapse теперь доступна в режиме предварительной версии с поддержкой средств SQL Server Data Tools (SSDT) для Visual Studio! Теперь разработчики смогут использовать для совместной работы единую базу кода с управлением версиями и быстро распространять изменения на любой экземпляр в любой точке мира. Вас это тоже интересует? Эта функция уже предоставляется в режиме предварительной версии. Чтобы зарегистрироваться, посетите страницу с формой регистрации для использования предварительной версии SQL Server Data Tools для Visual Studio. Учитывая высокий спрос, мы ограничиваем доступ к предварительной версии, чтобы обеспечить максимальное удобство для клиентов. Мы ставим задачу подтвердить ваш статус в течение семи рабочих дней после регистрации. |
| Безопасность на уровне строк в общедоступной версии | Synapse SQL в Azure Synapse теперь поддерживает безопасность на уровне строк (RLS), которая дает мощные возможности для защиты конфиденциальных данных. С появлением RLS вы сможете внедрять политики безопасности, которые управляют доступом конкретных пользователей к конкретным строкам в таблицах. RLS обеспечивает такой точный контроль доступа, не требуя изменять архитектуру хранилища данных. RLS упрощает реализацию системы безопасности в целом, перемещая логику ограничения доступа на уровень базы данных из уровня приложения, который отделен от данных. Также RLS избавляет от необходимости создавать представления специально для фильтрации строк при управлении доступом. Для всех наших клиентов эта функция безопасности корпоративного уровня предоставляется без дополнительной оплаты. |
| Расширенные помощники | Расширенная настройка для Synapse SQL в Azure Synapse стала еще проще благодаря дополнительным рекомендациям и метрикам для хранилища данных. В Помощнике по Azure вам доступны дополнительные рекомендации по повышению производительности, в том числе следующие. 1. Адаптивный кэш— рекомендуется масштабировать, чтобы оптимизировать использование кэша. 2. Распределение таблиц — определите, когда следует реплицировать таблицы для уменьшения перемещения данных и повышения производительности рабочей нагрузки. 3. Tempdb— узнайте, когда следует масштабировать и настраивать классы ресурсов, чтобы уменьшить количество разных файлов tempdb. Метрики хранилища данных более тесно интегрированы с Azure Monitor, в том числе улучшена настраиваемая таблица мониторинга для метрик в колонке обзора, обновляемых практически в реальном времени. Вам больше не нужно покидать колонку обзора хранилища данных, чтобы получить доступ к метрикам Azure Monitor при отслеживании использования либо проверять и применять рекомендации для хранилища данных. Кроме того, доступны новые метрики, например использование tempdb и адаптивного кэша, дополняющие рекомендации по производительности. |
| Расширенная настройка благодаря встроенным помощникам | Расширенная настройка Azure Synapse теперь стала еще проще благодаря новым рекомендациям и метрикам для хранилища данных и новому интерфейсу колонки сводных данных на портале, которая теперь объединяет функции Помощника по Azure и Azure Monitor. |
| Ускоренное восстановление базы данных (ADR) | Ускоренное восстановление базы данных (ADR) для Azure Synapse теперь находится в режиме общедоступной предварительной версии. ADR — это новая функция ядра СУБД SQL Server, которая значительно повышает доступность базы данных, особенно при наличии длительных транзакций, благодаря полностью обновленному процессу восстановления. Основных преимуществ ADR: быстрое и согласованное восстановление базы данных и мгновенный откат транзакций. |
| Журналы ресурсов Azure Monitor | Теперь Azure Synapse предоставляет расширенные аналитические сведения о рабочих нагрузках благодаря непосредственной интеграции с журналами ресурсов Azure Monitor. Эта новая возможность позволяет разработчикам анализировать поведение рабочих нагрузок в течение продолжительного времени и принимать обоснованные решения касательно оптимизации запросов или управления производительностью. Теперь мы добавили внешний процесс ведения журнала, который реализован через журналы ресурсов Azure Monitor и предоставляет дополнительные сведения о рабочей нагрузке хранилища данных. Одним нажатием кнопки вы теперь можете настроить журналы ресурсов для устранения неполадок по истории производительности запросов с применением Log Analytics. Журналы ресурсов Azure Monitor поддерживают настраиваемые периоды удержания за счет сохранения журналов в учетной записи хранения для аудита, возможность потоковой передачи журналов в концентраторы событий для получения аналитических сведений телеметрии практически в реальном времени, а также возможность анализировать журналы, используя Log Analytics с запросами журналов. Журналы ресурсов состоят из представлений телеметрии для хранилища данных, эквивалентных динамическим административным представлениям для устранения неполадок, связанных с производительностью Аналитики SQL в Azure Synapse. В этом первоначальном выпуске доступны следующие динамические административные представления системы: • sys.dm_pdw_exec_requests • sys.dm_pdw_request_steps • sys.dm_pdw_dms_workers • sys.dm_pdw_waits • sys.dm_pdw_sql_requests |
| Управление памятью columnstore | По мере того как количество групп строк для хранилища столбцов возрастает, увеличивается и объем памяти, необходимый для управления внутренними метаданными сегментов столбцов для этих групп строк. В результате общая производительность запросов и результативность запросов к одному из динамических административных представлений columnstore может снизиться. В этом выпуске реализованы улучшения, которые позволят оптимизировать размер внутренних метаданных в таких случаях. Это обеспечит удобство и высокую производительность при выполнении запросов. |
| Интеграция с Azure Data Lake Storage 2-го поколения (GA) | Synapse Analytics теперь имеет встроенную возможность интеграции с Azure Data Lake Storage 2-го поколения. Клиенты теперь могут с помощью внешних таблиц загружать данные из ABFS в выделенный пул SQL (ранее — Хранилище данных SQL). Эта функция позволяет пользователям интегрировать пулы данных в Azure Data Lake Storage 2-го поколения. |
| Важные ошибки | Инструкция CETAS в Parquet завершается сбоем для ресурсов небольшого размера, размещенных в хранилищах данных DW2000 и большего размера. Это исправление правильно определяет пустую ссылку на путь к коду Parquet в инструкции CREATE EXTERNAL TABLE AS SELECT. Значение столбца идентификаторов может утрачиваться при некоторых операциях CTAS. Значение столбца идентификаторов не всегда сохраняется при выполнении инструкции CTAS для другой таблицы. Подробные сведения см. в этом блоге. В некоторых случаях происходит внутренний сбой при завершении сеанса, пока запрос еще выполняется. Это исправление создает исключение InvalidOperationException при завершении сеанса, пока запрос еще выполняется. (Развернуто в ноябре 2018 года.) Пользователи испытывали проблемы с производительностью при попытке загрузить несколько небольших файлов из ADLS 1-го поколения с помощью Polybase. Производительность системы была ограничена во время проверки маркера безопасности AAD. Кэширование маркеров безопасности помогло решить проблемы с производительностью. |