Новые возможности архива для Фабрика данных Azure
Фабрика данных Azure постоянно совершенствуется. Чтобы оставаться в курсе последних событий, ознакомьтесь с текущей страницей "Новые возможности", которая предоставляет сведения о следующих возможностях:
- Последние выпуски.
- Известные проблемы.
- Исправления ошибок.
- Нерекомендуемые функции.
- Планы по изменениям.
Эта страница архива сохраняет обновления из старых месяцев.
Ознакомьтесь с нашим архивом видео о новых возможностях для всех ежемесячных обновлений.
Сентябрь 2023
Pipelines
Добавлена поддержка конвейеров, управляемых метаданными, для динамической полной и добавочной обработки в Azure SQL Подробнее
Август 2023 г.
Система отслеживания измененных данных
- Доступность целевого объекта Azure Synapse Analytics в ресурсе CDC верхнего уровня
- Соединитель Snowflake в сопоставлении Поток данных поддерживает запись измененных данных в общедоступной предварительной версии
Поток данных
- Целочисленный тип, доступный для переменных конвейера, см. дополнительные сведения
- Соединитель источника Snowflake CDC доступен в ресурсе CDC верхнего уровня
- Поддержка собственного пользовательского интерфейса параметризации для дополнительных связанных служб См. дополнительные сведения
Перемещение данных
- Поддержка управляемых частных конечных точек для Шлюз приложений и гибкого сервера MySQL
- Общие сведения об общедоступной доступности управляемой виртуальной сети
Среда выполнения интеграции
Локальная среда выполнения интеграции теперь поддерживает локальную интерактивную разработку (предварительная версия) Дополнительные сведения
Июль 2023 г.
Система отслеживания измененных данных
Ресурс CDC верхнего уровня теперь поддерживает эволюцию схемы. Подробнее
Поток данных
Параметр схемы слияния в разностном приемнике теперь поддерживает эволюцию схемы в Поток данных сопоставления. Подробнее
Перемещение данных
- Закомментируйте часть конвейера с деактивацией. Подробнее
- Возвращаемое значение конвейера теперь общедоступно. Подробнее
Производительность разработки
Поиск документации теперь включен в панель инструментов поиска Фабрика данных Azure. Подробнее
Июнь 2023 г.
Непрерывные интеграция и развертывание
Пакет npm теперь поддерживает предварительно скачанный пакет для создания шаблонов ARM. Если параметр брандмауэра блокирует прямую загрузку пакета npm, теперь можно предварительно загрузить пакет и разрешить пакету npm использовать локальную версию. Это супер повышение для конвейера CI/CD в брандмауэре.
Расширение региона
Фабрика данных Azure теперь доступен в Центральной Швеции. Вы можете совместно найти рабочий процесс ETL в этом новом регионе, если вы используете регион для хранения и управления современным хранилищем данных. Подробнее
Перемещение данных
Теперь поддерживается защита исходящего трафика с помощью правил исходящей сети Фабрика данных Azure. Подробнее
Соединители
Соединитель Amazon S3 теперь поддерживается в качестве назначения приемника с помощью Поток данных сопоставления. Подробнее
Поток данных
Мы введем необязательные параметры источника для источников Разделителя и JSON в ресурсе CDC верхнего уровня. Ресурс CDC верхнего уровня в фабрике данных теперь поддерживает необязательные исходные конфигурации для источников с разделителями и JSON. Теперь можно выбрать разделители столбцов и строк для источников с разделителями и задать тип документа для источников JSON. Подробнее
Май 2023 г.
Фабрика данных в Microsoft Fabric
Фабрика данных в Microsoft Fabric предоставляет службы перемещения данных в облаке и преобразования данных, которые позволяют решать самые сложные сценарии фабрики данных и ETL. Он предназначен для упрощения использования, мощного и действительно корпоративного уровня фабрики данных.
Апрель 2023 г.
Поток данных
Легко развернуть несколько массивов в потоках данных ADF. ADF обновил преобразование Flatten, которое теперь упрощает отмену нескольких массивов из одного шага преобразования Flatten. Подробнее
Непрерывные интеграция и развертывание
Теперь вы можете настроить сообщение фиксации в режиме Git. Введите подробное описание внесенных изменений и сохраните его в репозитории Git.
Соединители
Соединитель Хранилище BLOB-объектов Azure теперь поддерживает анонимную проверку подлинности. Подробнее
Март 2023 г.
Соединители
соединитель Azure Data Lake Storage 2-го поколения теперь поддерживает проверку подлинности подписанного URL-адреса. Подробнее
2023 февраля
Перемещение данных
- Анонимный тип проверки подлинности, поддерживаемый для хранилища BLOB-объектов Azure, см. дополнительные сведения
- Обновлен шаблон SAP, чтобы легко переместить данные SAP в ADLSGen2 в разностном формате Подробнее
Оркестрация
- Настройка значения выходных данных конвейера (общедоступная предварительная версия) Дополнительные сведения
- Диспетчер оркестрации рабочих процессов (общедоступная предварительная версия) Подробнее
Производительность разработки
Добавлена поддержка темной темы (общедоступная предварительная версия) Дополнительные сведения
2023 января
Поток данных
- Потоки теперь поддерживают смещение схемы Подробнее
- Добавочное извлечение SQL CDC теперь поддерживает числовые столбцы
Перемещение данных
Новый ресурс CDC верхнего уровня — собственная конфигурация CDC на 3 простых шагах
Оркестрация
Оркестрация записных книжек Synapse и определений заданий Synapse Spark в собственном коде
Расширение региона
- Продолжение расширения региона — Китай Северная 3 теперь поддерживает дополнительные сведения
- Продолжение расширения региона — Западная Швейцария теперь поддерживает дополнительные сведения
SQL Server Integration Services (SSIS);
Внедрение экспресс-виртуальной сети для служб SSIS теперь доступно подробнее
Производительность разработки
- Добавлена поддержка поддержки ресурсов на домашней странице
- Сохранение ширины столбца для мониторинга конвейера
- Мониторинг обновлений фильтров для быстрого поиска
- Непосредственное запуск коллекции шаблонов конвейера с помощью портал Azure
Декабрь 2022 г.
Поток данных
Добавочное извлечение измененных данных SQL (CDC) поддерживает числовые столбцы в сопоставлении потоков данных Подробнее
Перемещение данных
Внедрение экспресс-виртуальных сетей для служб SSIS в Фабрика данных Azure общедоступно.
Расширение региона
Продолжение расширения региона — Фабрика данных Azure теперь доступна в Китае Северная 3 Подробнее
Ноябрь 2022 г.
Поток данных
- Добавочный доступ доступен только в SAP CDC— получение изменений только из системы SAP без начальной полной загрузки подробнее
- Исходные секции в начальной полной загрузке данных SAP CDC для повышения производительности
- Новый шаблон конвейера. Загрузка нескольких объектов с большими объемами из SAP через SAP CDC Подробнее
Перемещение данных
- Поддержка Azure Databricks через приватный канал из управляемой виртуальной сети фабрики данных
Пользовательский интерфейс
2 Усовершенствования конструктора конвейеров, добавленные в предварительную версию ADF Studio
- Всплывающее меню динамического содержимого — это упрощает настройку динамического содержимого в действиях конвейера без использования построителя выражений Подробнее
- Перемещение сообщения об ошибке в столбец состояния. Это упрощает просмотр ошибок при выполнении конвейера сбоем. Дополнительные сведения
Непрерывные интеграция и развертывание
В конфигурации автоматической публикации кнопка "Отключить публикацию" доступна, чтобы отменить перезапись последнего автоматического развертывания публикации Подробнее
Октябрь 2022
Краткий видеообзор
Поток данных
- Экспорт до 1000 строк из предварительной версии потока данных
- Sql CDC в сопоставлении Поток данных теперь доступны (общедоступная предварительная версия) Дополнительные сведения
- Разблокировка расширенной аналитики с помощью соединителя Microsoft 365 для сопоставления Поток данных
- Запись измененных данных SAP (CDC) в настоящее время общедоступная информация
Производительность разработки
- Теперь принятие взносов сообщества в коллекцию шаблонов Подробнее
- Новый дизайн в портал Azure — легко узнать, как запустить ADF Studio Подробнее
- Центр обучения теперь доступен в студии Фабрика данных Azure Подробнее
- Чтобы узнать больше, щелкните один щелчком мыши Фабрика данных Azure
Оркестрация
- Подробное представление выставления счетов, доступное для ADF. Дополнительные сведения см. в подробных сведениях о выставлении счетов по конвейеру (общедоступная предварительная версия)
- Время ожидания выполнения действия скрипта теперь настраивается подробнее
Расширение региона
Продолжение расширения региона — Катар Центральный теперь поддерживает дополнительные сведения
Непрерывные интеграция и развертывание
Исключить триггеры конвейера, которые не изменились в развертывании, теперь общедоступная информация
2022 сентября
Краткий видеообзор
Поток данных
- Добавлен соединитель источника Amazon S3
- Соединитель на основе REST для Google Sheets, добавленный в качестве источника (предварительная версия) Подробнее
- Оптимизация максимального столбца в потоке данных подробнее
- Возможности отслеживания измененных данных SAP в Поток данных сопоставления (предварительная версия) — извлечение и преобразование изменений данных из систем SAP для более эффективного обновления данных
- Запись данных в поле подстановки с помощью альтернативных ключей, поддерживаемых в соединителях Dynamics 365/CRM для сопоставления потоков данных Подробнее
Перемещение данных
Поддержка преобразования типа Oracle NUMBER в соответствующее целое число в источнике Подробнее
Наблюдение
- Дополнительные улучшения мониторинга в Фабрика данных Azure Дополнительные сведения
- Улучшения при загрузке конвейера — повторное выполнение группирования извлекает данные только при развертывании.
- Разбиение на страницы, добавленное в представление выполнения действия конвейера, чтобы отобразить все записи действий в выполнении конвейера
- Улучшение потребления мониторинга— значок загрузки, добавленный для получения сведений о том, когда отчет о потреблении полностью вычисляется
- Дополнительные столбцы сортировки в мониторинге — сортировка, добавленная для имени конвейера, завершения выполнения и состояния
- Параметры часового пояса теперь сохраняются в мониторинге
- Представление диаграммы Ганта теперь поддерживается в мониторинге IR
Оркестрация
Метод DELETE в веб-действии теперь поддерживает отправку текста с помощью HTTP-запроса Подробнее
Пользовательский интерфейс
- Поддержка собственного пользовательского интерфейса параметризации, добавленная для 6 дополнительных связанных служб : SAP ODP, ODBC, Microsoft Access, Informix, Snowflake и DB2 Подробнее
- Усовершенствования конструктора конвейеров, добавленные в предварительной версии Studio, пользователи могут просматривать рабочий процесс внутри объектов конвейера, таких как For Each, If Then и т. д. Подробнее
Август 2022 г.
Краткий видеообзор
Поток данных
- Соединитель Appfigures, добавленный в качестве источника (предварительная версия) Подробнее
- Добавлено преобразование приведения. Визуально преобразуйте типы данных Подробнее
- Новый пользовательский интерфейс для встроенных наборов данных — категории, добавленные для упрощения поиска источников данных Подробнее
Перемещение данных
Тип проверки подлинности субъекта-службы, добавленный для хранилища BLOB-объектов Azure, дополнительные сведения
Производительность разработки
- Время ожидания действия по умолчанию изменилось с 7 дней до 12 часов . Дополнительные сведения
- Новый интерфейс создания фабрики данных — один щелчок, чтобы ваша фабрика была готова в течение нескольких секунд . Дополнительные сведения
- Обновление пользовательского интерфейса построителя выражений — категориальные вкладки, добавленные для упрощения использования подробнее
Непрерывная интеграция и непрерывная поставка (CI/CD)
При интеграции шаблона ARM ci/CD вместо отключения всех триггеров он может исключить триггеры, которые не изменились в развертывании
Июль 2022
Краткий видеообзор
Поток данных
- Соединитель Asana, добавленный в качестве источника , подробнее
- Теперь поддерживаются три новых функции преобразования данных
- collectUnique() — создание новой коллекции уникальных значений в массиве.
- substringIndex() — извлеките подстроку до n вхождения разделителя.
- topN() — возвращает результаты top n после сортировки данных.
- Ссылка из источника, доступного в обновлении для сценариев изменения источника данных
- Определяемые пользователем функции (GA) — создание повторно используемых и настраиваемых выражений, чтобы избежать создания сложной логики и более подробного изучения видео
- Упрощенная конфигурация во время выполнения потока данных— выберите размер вычислительных ресурсов между небольшими, средними и большими , чтобы предварительно настроить все параметры среды выполнения интеграции. Дополнительные сведения
Непрерывная интеграция и непрерывная поставка (CI/CD)
Включите глобальные параметры, поддерживаемые в шаблоне ARM. Подробнее
Производительность разработки
Будьте частью функций предварительной версии студии Фабрика данных Azure — узнайте больше о последних возможностях Фабрика данных Azure и будьте первыми, чтобы поделиться своими отзывами.
Июнь 2022 г.
Краткий видеообзор
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Нечеткое соединение поддерживается для потоков данных | Теперь в преобразовании соединения потоков данных поддерживается нечеткое соединение с настраиваемой оценкой сходства при условиях соединения. Подробнее |
| Возможности редактирования в исходной проекции | Возможности редактирования в исходной проекции доступны в потоке данных, чтобы упростить изменение схем Подробнее | |
| Обработка ошибок assert | Теперь в потоках данных поддерживается обработка ошибок assert для проверки качества данных и проверки данных Подробнее | |
| Перемещение данных | Параметризация изначально поддерживается в дополнительных 4 соединителях | Мы добавили встроенную поддержку параметризации в пользовательский интерфейс для следующих связанных служб: Azure Data Lake 1-го поколения, Azure PostgreSQL, Google AdWords и PostgreSQL. Подробнее |
| Возможности системы отслеживания измененных данных SAP (CDC) в новом соединителе SAP ODP (общедоступная предварительная версия) | Возможности системы отслеживания измененных данных SAP (CDC) теперь поддерживаются в новом соединителе SAP ODP. Подробнее | |
| Integration Runtime | Срок жизни в управляемой виртуальной сети (общедоступная предварительная версия) | Срок жизни можно задать для подготовленных вычислений в управляемой виртуальной сети. Подробнее |
| Мониторинг | Перезапуск конвейера с новыми параметрами | Теперь в Фабрике данных Azure можно повторно запускать конвейеры с новыми значениями параметров. Подробнее |
| Оркестрация | Свойство turnOffAsync доступно в веб-действии | Веб-действие поддерживает асинхронный шаблон запроса-ответа, который вызывает HTTP GET в поле Location (Расположение) в заголовке ответа HTTP 202. Это помогает веб-активности автоматически опрашивать конечную точку мониторинга до выполнения задания. Свойство turnOffAsync поддерживается для отключения этого поведения в случаях, когда опрос не требуется Подробнее |
Май 2022 г.
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Определяемые пользователем функции для потоков данных для сопоставления | Фабрика данных Azure представляет общедоступную предварительную версию определяемых пользователем функций и библиотек потоков данных. Определяемая пользователем функция — это настраиваемое выражение, определяющее возможность повторного использования логики в нескольких потоках данных для сопоставления. Определяемые пользователем функции хранятся в коллекции, называемой библиотекой потока данных, чтобы можно было легко группировать общие наборы настраиваемых функций. Подробнее |
Апрель 2022 г.
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Улучшения предварительного просмотра и отладки данных в потоках данных сопоставления | Сеансы отладки с помощью среды выполнения интеграции (IR) AutoResolve Azure теперь будут запускаться менее чем через 10 секунд. В потоках данных для сопоставления есть новые обновления панели предварительного просмотра данных. Теперь можно сортировать строки в представлении предварительного просмотра данных, выбирая заголовки столбцов. Столбцы можно перемещать в интерактивном режиме. Результаты предварительного просмотра данных также можно сохранить в формате CSV с помощью экспорта CSV. Подробнее |
| Соединитель Dataverse доступен для потоков данных для сопоставления | Соединитель Dataverse доступен в качестве источника и приемника для потоков данных для сопоставления. Подробнее | |
| Поддержка схем пользовательских баз данных для промежуточного хранения с помощью соединителей Azure Synapse Analytics и PostgreSQL в приемнике потока данных | Приемник потока данных теперь поддерживает использование схемы пользовательской базы данных для промежуточного хранения в соединителях Azure Synapse Analytics и PostgreSQL. Подробнее | |
| Мониторинг | Несколько обновлений возможностей мониторинга Фабрики данных | Новые обновления для мониторинга в Фабрике данных включают возможность экспортировать результаты в формате CSV, очищать все фильтры и открывать запуск в новой вкладке. Кэширование столбцов и результатов также оптимизировано. Подробнее |
| Пользовательский интерфейс | Поддержка нового регионального формата | Выбор языка и регионального формата в настройках повлияет на формат отображения данных, например дат, в мониторинге студии Фабрики данных Azure. Например, время в мониторинге будет отображаться в следующем формате: "2 апр. 2022, 3:40:29 pm", если выбрать английский региональный формат, или "2 апр. 2022, 15:40:29", если выбрать французский. Эти параметры влияют только на пользовательский интерфейс студии Фабрики данных Azure и не изменяют фактические данные и часовой пояс. |
Март 2022 г.
Краткий видеообзор
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | ScriptLines и параметризованная связанная служба поддерживают добавленные потоки данных для сопоставления | Теперь можно без усилий обнаруживать изменения в скрипте потока данных в Git с помощью ScriptLines в определении JSON потока данных. Параметризованные связанные службы теперь также можно использовать в потоках данных для гибких шаблонов универсальных подключений. Подробнее |
| Общая доступность потоков flowlet | Потоки flowlet теперь общедоступны для создания повторно используемых частей логики потока данных, которые можно совместно использовать в других конвейерах в качестве встроенных преобразований. Потоки flowlet позволяют создавать задания извлечения, преобразования и загрузки (ETL) из пользовательских или общих компонентов логики. Подробнее | |
| Соединители канала изменений доступны в пяти преобразованиях источника потока данных | Соединители канала изменений доступны в преобразованиях источников потока данных для Azure Cosmos DB, Хранилища BLOB-объектов Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения и общей модели данных (CDM). Подробнее | |
| Улучшения предварительного просмотра и отладки данных в потоках данных сопоставления | Добавлены новые возможности предварительного просмотра данных и отладки в потоках данных для сопоставления. Подробнее | |
| Соединитель SFTP для потока данных для сопоставления | Соединитель SFTP доступен для потока данных для сопоставления в качестве источника и приемника. Подробнее | |
| Перемещение данных | Поддержка Always Encrypted для соединителей, связанных с SQL, в действии поиска в управляемой виртуальной сети | Always Encrypted поддерживается для SQL Server, Базы данных SQL Azure, Управляемого экземпляра SQL Azure и Synapse Analytics в действии поиска в управляемой виртуальной сети. Подробнее |
| Среда выполнения интеграции в фабрике данных Azure | Новый макет пользовательского интерфейса на странице создания и редактирования Azure IR | Макет пользовательского интерфейса страницы создания и редактирования IR теперь использует стиль вкладок для параметров, виртуальной сети и среды выполнения потока данных. Подробнее |
| Оркестрация | Преобразование данных с помощью действия Script | Действие скрипта можно использовать для вызова скрипта SQL в Базе данных SQL Azure, Azure Synapse Analytics, SQL Server, Oracle или Snowflake. Подробнее |
| Улучшение времени ожидания веб-действий | Вы можете настроить время ожидания отклика в веб-действии, чтобы предотвратить его истечение, если время отклика превышает одну минуту, особенно в случае синхронных API. Подробнее |
2022 февраля
Краткий видеообзор
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Параметризованные связанные службы, поддерживаемые при сопоставлении потоков данных | Теперь при сопоставлении потоков данных можно использовать параметризованные связанные службы, позволяющие сделать потоки данных для сопоставления универсальными и гибкими. Подробнее |
| Извлечение добавочного исходного кода Базы данных SQL доступно в потоке данных (общедоступная предварительная версия) | Добавлен новый параметр для источников потока данных для сопоставления Базы данных SQL под названием Включить добавочное извлечение (предварительная версия). Теперь можно автоматически извлекать только те строки, которые были изменены в источниках Базы данных SQL с использованием потоков данных. Подробнее | |
| Доступно четыре новых соединителя для потоков данных для сопоставления (общедоступная предварительная версия) | Фабрика данных теперь поддерживает четыре новых соединителя (общедоступная предварительная версия) для потоков данных для сопоставления: соединители Quickbase, Smartsheet, TeamDesk и Zendesk. Подробнее | |
| Azure Cosmos DB (SQL API) для потока данных для сопоставления теперь поддерживает встроенный режим | В Azure Cosmos DB (SQL API) для потока данных для сопоставления теперь можно использовать встроенные наборы данных. Подробнее | |
| Перемещение данных | Получение конвейеров приема данных на основе метаданных в Копировании данных Фабрики данных за 10 минут (общедоступная версия) | Вы можете за 10 минут создавать крупномасштабные конвейеры для копирования данных с помощью подхода на основе метаданных в Копировании данных. Подробнее |
| Доступно обновление API соединителя Google AdWords Фабрики данных | Соединитель Google AdWords Фабрики данных теперь поддерживает новую версию API AdWords. Для нового пользователя соединителя никаких действий не требуется, так как он включен по умолчанию. Подробнее | |
| Непрерывная интеграция и непрерывная поставка (CI/CD) | Межклиентская поддержка Azure DevOps | Репозитория можно настроить, используя Git Azure DevOps, размещенный не в том же клиенте, что Фабрика данных Azure。 Подробнее |
| Расширение региона | Теперь Фабрика данных доступна в регионах "Западная часть США (3)" и "Западная Индия (Jio)". | Теперь Фабрика данных доступна в двух новых регионах: "Западная часть США (3)" и "Западная Индия (Jio)". Вы можете разместить свой рабочий процесс ETL в этих новых регионах, если вы используете эти регионы для хранения и управления современным хранилищем данных. Вы также можете использовать эти регионы для обеспечения непрерывности бизнеса и аварийного восстановления, если вам нужно выполнить отработку отказа из другого региона в пределах этого географического расположения. Подробнее |
| Безопасность | Подключение к учетной записи Azure DevOps в другом клиенте идентификатора записи | Вы можете подключить свою Фабрику данных к учетной записи Azure DevOps в другом арендаторе Azure AD для системы управления версиями. Подробнее |
2022 января
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Быстрое повторное использование теперь выполняется автоматически во всех Azure IR с поддержкой срока жизни. | Вам больше не потребуется вручную настраивать возможности быстрого повторного использования. Потоки данных для сопоставления Фабрики данных теперь могут запускать последующие действия потока данных в течение пяти секунд после установки срока жизни. Подробнее |
| Получение пользовательских описаний Assert | В преобразовании Assert можно задать собственное сообщение динамического описания. Мы добавили новую функцию assertErrorMessage(), которую можно применять для построчного получения сообщений и их хранения в конечных данных. Подробнее | |
| Автоматическое обнаружение схемы в преобразовании Parse | В преобразование анализа включена новая возможность, которая упрощает автоматическое обнаружение схемы внедренного сложного поля в строковом столбце. Нажмите кнопку Обнаружить схему, чтобы установить целевую схему автоматически. Подробнее | |
| Поддержка соединителя Dynamics 365 в качестве приемника и источника | Теперь вы можете напрямую подключаться к Dynamics 365, чтобы преобразовывать данные Dynamics в большом масштабе с помощью нового соединителя потока данных для сопоставления для Dynamics 365. Подробнее | |
| Подключения SQL Always Encrypted теперь доступны в потоках данных | Always Encrypted теперь может быть источником преобразований в SQL Server, Базе данных SQL, Управляемом экземпляре SQL и Azure Synapse при использовании потоков данных. Подробнее | |
| Перемещение данных | Соединитель Azure Databricks Delta Lake Фабрики данных Azure поддерживает новые типы проверки подлинности | Соединитель Databricks Delta Lake Фабрики данных теперь поддерживает два дополнительных типа проверки подлинности на основе управляемых удостоверений, назначаемых системой и пользователем. Подробнее |
| Действие копирования в Фабрике данных теперь поддерживает upsert в нескольких дополнительных соединителях | Действие копирования в Фабрике данных теперь поддерживает upsert для приемников данных SQL Server, Базы данных SQL, Управляемого экземпляра SQL и Azure Synapse. Подробнее |
Декабрь 2021 г.
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Соединитель Dynamics в качестве собственного источника и приемника для потоков данных для сопоставления | Соединитель Dynamics теперь поддерживается в качестве источника и приемника для потоков данных для сопоставления. Подробнее |
| Теперь поддерживается собственная система отслеживания измененных данных (CDC) | CDC теперь изначально поддерживается в Фабрике данных для Azure Cosmos DB, Хранилище BLOB-объектов, Data Lake Storage 1-го поколения, Data Lake Storage 2-го поколения и CDM. Подробнее | |
| Общедоступная предварительная версия Flowlets | Общедоступная предварительная версия Flowlets позволяет разработчикам потоков данных создавать многократно используемые компоненты для удобного создания составной логики преобразования данных. Подробнее | |
| Общедоступная предварительная версия данных карт | Предварительная версия данных карт позволяет бизнес-пользователям настраивать сопоставление столбцов и преобразования для загрузки баз данных Azure Synapse. Подробнее | |
| Несколько назначений выходных данных из Power Query | Теперь вы можете сопоставлять разные назначения выходных данных из Power Query с Фабрикой данных для создания гибких схем извлечения, преобразования и загрузки для интеграторов данных. Подробнее | |
| Поддержка преобразования внешних вызовов | Расширяйте функциональные возможности потоков данных для сопоставления с помощью преобразования внешнего вызова. Теперь можно добавить собственный пользовательский код в качестве конечной точки REST или обращаться к проверенной сторонней службе в построчном режиме. Подробнее | |
| Реализация быстрого повторного использования на основе потоков данных для сопоставления Azure Synapse с поддержкой срока жизни | Потоки данных сопоставления Azure Synapse теперь поддерживают возможность быстрого повторного использования за счет настройки срока жизни в Azure IR. Использование параметра позволяет последующим действиям потока данных выполняться менее чем за пять секунд. Подробнее | |
| Преобразование подтверждения | С помощью преобразования утверждения в потоках данных для сопоставления можно легко добавить в конвейер Фабрики данных проверку качества данных, домена данных и метаданных. Подробнее | |
| Поддержка IntelliSense в построителе выражений для более эффективной разработки конвейеров | Включена поддержка IntelliSense в построителе выражений и при разработке динамического содержимого, чтобы повысить производительность разработчиков конвейеров Фабрики данных и Azure Synapse при написании сложных выражений в конвейерах данных. Подробнее |
Ноябрь 2021 г.
| Категория службы | Улучшения службы | Сведения |
| Непрерывная интеграция и непрерывная поставка (CI/CD) | Улучшения интеграции GitHub | Улучшения в Фабрике данных и интеграции GitHub устраняют ограничения в 1000 ресурсов Фабрики данных на каждый тип ресурсов (наборы данных, конвейеры и т. д.). Для больших фабрик данных это изменение помогает снизить влияние ограничения скорости API GitHub. Подробнее |
| Data flow (Поток данных) | Настройка пользовательского кода ошибки и сообщения об ошибке с действием "Сбой" | Действие сбоя позволяет разработчикам функций извлечения, преобразования и загрузки задавать сообщения об ошибке и пользовательские коды ошибок для конвейеров Фабрики данных. Подробнее |
| Преобразование внешнего вызова | Преобразование внешнего вызова в потоке данных для сопоставления позволяет разработчикам функций извлечения, преобразования и загрузки использовать средства преобразования и обогащения данных, предоставляемые конечными точками REST или сторонними службами API. Подробнее | |
| Быстрое повторное использование Synapse | При выполнении потока данных в Synapse Analytics используйте функцию срока жизни. Функция срока жизни позволяет реализовать возможность быстрого повторного использования, благодаря которой последовательные потоки данных будут запускаться в течение нескольких секунд. Срок жизни можно задать при настройке Azure IR. Подробнее | |
| Перемещение данных | Действие копирования поддерживает чтение данных из FTP или SFTP без фрагментации | Автоматически определяйте длину файла или соответствующего смещения для чтения при копировании данных с сервера FTP или SFTP. Благодаря этой возможности Фабрика данных автоматически подключается к серверу FTP или SFTP для определения длины файла. После определения длины Фабрика данных делит файл на несколько блоков и считывает их параллельно. Подробнее |
| Поддержка UTF-8 без BOM в действии Copy | Действие копирования поддерживает запись данных в кодировке UTF-8 без BOM для JSON и текстовых наборов данных с разделителями. | |
| Поддержка многосимвольных разделителей столбцов | Действие копирования поддерживает многосимвольные разделители столбцов для текстовых наборов данных с разделителями. | |
| Среда выполнения интеграции в фабрике данных Azure | Выполнение любого процесса в любом месте за три шага с помощью SQL Server Integration Services (SSIS) в Фабрике данных | Узнайте, как использовать преимущества Фабрики данных и возможности SSIS в конвейере. Пример пакета служб SSIS с параметризованными свойствами поможет вам начать работу. В Data Factory Studio вы можете легко перетащить пакет SSIS в конвейер и использовать его в составе действия выполнения пакета SSIS. Эта возможность позволяет запускать конвейер Фабрики данных с пакетом SSIS в локальных средах IR или SSIS IR. Задавая значения параметров времени выполнения, вы можете использовать широкие возможности Фабрики данных и SSIS параллельно. В этой статье описаны три простых шага для выполнения любого процесса, который может быть любым исполняемым файлом, например приложением, программой, утилитой или пакетом, откуда угодно. Подробнее |
2021 октября
| Категория службы | Улучшения службы | Сведения |
| Data flow (Поток данных) | Соединители Azure Data Explorer и Amazon Web Services (AWS) S3 | Команда по интеграции данных Майкрософт выпустила два новых соединителя для потоков данных для сопоставления. Если вы используете Azure Synapse, теперь вы можете подключаться непосредственно к контейнерам AWS S3 для преобразования данных. В Фабрике данных и Azure Synapse теперь можно без дополнительной настройки подключаться к кластерам Azure Data Explorer в потоках данных для сопоставления. Подробнее |
| Действие Power Query переходит с предварительной версии на общедоступную | Действие конвейера Power Query Фабрики данных стало общедоступным. Эта новая функция предоставляет горизонтально масштабируемые средства для подготовки и первичной обработки данных для интеграторов в пользовательском интерфейсе браузера Фабрики данных, предоставляя инженерам данных доступ к интегрированным возможностям. Функция первичной обработки данных Power Query в Фабрике данных предоставляет мощный и простой в использовании конвейер для решения самых сложных задач интеграции данных, а также задач извлечения, преобразования и загрузки данных в одной службе. Подробнее | |
| Новое преобразование данных Stringify в потоках данных для сопоставления | В потоки данных для сопоставления добавлено новое преобразование данных Stringify, которое упрощает преобразование сложных типов данных, например структур и массивов, в строковую форму. Затем эти типы данных можно отправлять в целевые структурированные выходные данные. Подробнее | |
| Среда выполнения интеграции в фабрике данных Azure | Ускоренное внедрение виртуальной сети для SSIS IR (предварительная версия) | SSIS IR теперь поддерживает ускоренное внедрение виртуальной сети. Подробнее: Общие сведения о внедрении виртуальной сети для SSIS IR Стандартное и ускоренное внедрение виртуальной сети для SSIS IR Ускоренное внедрение виртуальной сети для SSIS IR |
| Безопасность | Улучшение интеграции с Azure Key Vault | Интеграция Key Vault теперь предусматривает раскрывающиеся списки, чтобы пользователи могли выбирать значения секретов в связанной службе. Эта возможность повышает производительность, так как пользователям не нужно вводить секреты, что может привести к ошибке из-за действий человека. |
| Поддержка управляемого удостоверения, назначаемого пользователем, в Фабрике данных | Безопасность учетных данных важна для любого предприятия. Команда разработчиков Фабрики данных стремится сделать процесс инжиниринга данных защищенным и при этом простым для инженеров данных. Управляемое удостоверение, назначаемое пользователем (предварительная версия), теперь поддерживается во всех соединителях и связанных службах с поддержкой проверки подлинности на основе Azure AD. Подробнее |
Сентябрь 2021 года
| Категория службы | Улучшения службы | Сведения |
| Непрерывная интеграция и непрерывная доставка | Расширенные возможности CI/CD | Теперь вы можете создавать новые ветви Git на основе любой другой ветви в Фабрике данных. Подробнее |
| Перемещение данных | Служба реляционной базы данных (RDS) Amazon для источников Oracle | Соединитель Amazon RDS для источников Oracle теперь доступен в Фабрике данных и Azure Synapse. Подробнее |
| Amazon RDS для источников SQL Server | Соединитель Amazon RDS для источников SQL Server теперь доступен в Фабрике данных и Azure Synapse. Подробнее | |
| Поддержка параллельного копирования из Базы данных Azure для PostgreSQL | Соединитель Базы данных Azure для PostgreSQL теперь поддерживает параллельные операции копирования. Подробнее | |
| Data flow (Поток данных) | Использование Data Lake Storage 2-го поколения для выполнения команд до и после обработки | Теперь команды, выполняемые до и после обработки в распределенной файловой системе Hadoop, можно выполнять с помощью приемников Data Lake Storage 2-го поколения в потоках данных. Подробнее |
| Изменение свойств потока данных для существующих экземпляров Azure IR | Среда Azure IR обновлена, чтобы разрешить изменение свойств потока данных для существующих IR. Вы можете изменять свойства вычислений потока данных без создания новой среды Azure IR. Подробнее | |
| Параметр TTL для Azure Synapse, сокращающий время выполнения действий конвейера | Azure Synapse поддерживает использование срока жизни в Azure IR, чтобы действия конвейера потока данных начинали выполняться за считаные секунды, что значительно ускоряет выполнение конвейеров потока данных. Подробнее | |
| Среда выполнения интеграции в фабрике данных Azure | Управляемая виртуальная сеть Фабрики данных стала общедоступной | Теперь вы можете подготавливать Azure IR как часть управляемой виртуальной сети и использовать частные конечные точки для безопасного подключения к поддерживаемым хранилищам данных. Трафик данных проходит через Приватные каналы Azure, обеспечивая безопасное подключение к источнику данных. Кроме того, это предотвращает кражу данных в общедоступном Интернете. Подробнее |
| Оркестрация | Применение и предоставление Соглашения об уровне обслуживания для конвейеров данных | Новая метрика времени, затраченного на выполнение конвейера, в сочетании с оповещениями Фабрики данных позволяет разработчикам конвейеров данных оптимизировать предоставление соглашений об уровне обслуживания для клиентов. Теперь вы можете сообщить нам, как долго должен выполняться конвейер, а мы будем заблаговременно уведомлять вас, когда конвейер выполняется дольше, чем ожидалось Подробнее |
| Действие сбоя (общедоступная предварительная версия) | Новое действие Fail позволяет создать ошибку в конвейере по какой-либо причине. Например, действие сбоя можно использовать, если действие поиска не возвращает совпадающие данные или пользовательское действие завершается внутренней ошибкой. Подробнее |
Август 2021 г.
| Категория службы | Улучшения службы | Сведения |
| Непрерывная интеграция и непрерывная доставка | Улучшения CI/CD с поддержкой GitHub в Azure для государственных организаций и Microsoft Azure, управляемых 21Vianet | Мы добавили поддержку GitHub в Azure для государственных организаций США и Azure под управлением 21Vianet. Подробнее |
| Перемещение данных | API Azure Cosmos DB для MongoDB теперь поддерживает сервер версий 3.6 и 4.0 в Фабрике данных | API Cosmos DB в Фабрике данных для соединителя MongoDB теперь поддерживает сервер версий 3.6 и 4.0. Подробнее |
| Расширение использования инструкции COPY для загрузки данных в Azure Synapse | Соединитель Azure Synapse Фабрики данных Azure теперь поддерживает поэтапное копирование и копирование источника с использованием *.* в качестве подстановочного знака имени файла для инструкции COPY. Подробнее | |
| Data flow (Поток данных) | Конечные точки REST доступны в качестве источника и приемника в потоке данных | Потоки данных в Фабрике данных и Azure Synapse теперь поддерживают конечные точки REST в качестве источников и приемников; при этом полностью поддерживаются полезные данные JSON и XML. Подробнее |
| Среда выполнения интеграции в фабрике данных Azure | Средство диагностики доступно для локальной среды IR | Средство диагностики для локальной среды IR предназначено для более эффективного взаимодействия с пользователем, помогая им выявлять потенциальные проблемы. Средство выполняет серию тестовых сценариев на компьютере с локальной средой IR. Каждый сценарий содержит типичные варианты проверки работоспособности для распространенных проблем. Подробнее |
| Оркестрация | Триггер пользовательского события с параметром расширенной фильтрации стал общедоступным | Теперь можно создать триггер, реагирующий на пользовательский раздел, опубликованный в Сетке событий Azure. Кроме того, можно использовать расширенную фильтрацию для избирательного контроля над тем, на какие события следует реагировать. Подробнее |
Июль 2021
| Категория службы | Улучшения службы | Сведения |
| Перемещение данных | Получение конвейеров приема данных на основе метаданных в Копировании данных Фабрики данных за 10 минут стало общедоступным | Теперь вы можете за 10 минут создавать крупномасштабные конвейеры для копирования данных с помощью подхода на основе метаданных в Копировании данных (общедоступная предварительная версия). Подробнее |
| Data flow (Поток данных) | Новые функции карт, добавленные в функции преобразования потока данных | Добавлен новый набор функций преобразования потока данных, позволяющий разработчикам данных создавать, считывать и обновлять типы данных карт и сложные структуры карт. Подробнее |
| Среда выполнения интеграции в фабрике данных Azure | Пять новых регионов стали доступными в управляемой виртуальной сети Фабрики данных (общедоступная предварительная версия) | В управляемой виртуальной сети Фабрики данных доступны пять новых регионов: Восточный Китай 2, Северный Китай 2, US Government Arizona, US Government Texas и US Government Virginia (общедоступная предварительная версия). |
| Продуктивность разработки | Улучшения домашней страницы Фабрики данных | Домашняя страница Фабрики данных была изменена с учетом улучшенных возможностей контрастности и перекомпоновки. На домашней странице появилось несколько разделов, которые помогают повысить производительность при интеграции данных. Подробнее |
| Новая целевая страница для Студии Фабрики данных | Целевая страница для области Фабрики данных на портале Azure. Подробнее |
Июнь 2021 года
| Категория службы | Улучшения службы | Сведения |
| Перемещение данных | Новый пользовательский интерфейс Копирования данных в Фабрике данных | Обновленное средство Копирования данных теперь доступно с улучшенными возможностями приема данных. Подробнее |
| MongoDB и MongoDB Atlas поддерживаются как источник и приемник | Это улучшение поддерживает копирование данных между любым поддерживаемым хранилищем данных и базой данных MongoDB или MongoDB Atlas. Подробнее | |
| Always Encrypted поддерживается для Базы данных SQL, Управляемого экземпляра SQL и соединителей SQL Server в качестве источника и приемника | Возможности Always Encrypted доступны в Фабрике данных в Базе данных SQL, Управляемом экземпляре SQL и соединителях SQL Server для действия копирования. Подробнее | |
| Настройка пользовательских метаданных поддерживается в действии копирования при приеме в Data Lake Storage 2-го поколения или Хранилище BLOB-объектов | При записи в Data Lake Storage 2-го поколения или Хранилище BLOB-объектов действие копирования поддерживает настройку пользовательских метаданных или сохранение последней измененной информации исходного файла в качестве метаданных. Подробнее | |
| Data flow (Поток данных) | SQL Server теперь поддерживается в качестве источника и приемника в потоках данных | SQL Server теперь поддерживается в качестве источника и приемника в потоках данных. Перейдите по ссылке, чтобы получить инструкции по настройке сети с помощью функции виртуальной сети, управляемой Azure IR, для взаимодействия с локальными и облачными экземплярами SQL Server на базе виртуальных машин. Подробнее |
| Быстрое повторное использование кластера потоков данных теперь включено по умолчанию для всех новых экземпляров Azure IR | Популярная функция повторного использования быстрого запуска потока данных стала общедоступной для Фабрики данных. Для всех новых Azure IR теперь по умолчанию включено быстрое повторное использование. Подробнее | |
| Действие Power Query (общедоступная предварительная версия) | Теперь вы можете создавать сложные сопоставления полей для приемника Power Query с помощью первичной обработки данных Фабрики данных. Теперь приемник настроен в конвейере в действии Power Query (общедоступная предварительная версия) для реализации этого обновления. Подробнее | |
| Обновленный пользовательский интерфейс мониторинга потоков данных в Фабрике данных | Фабрика данных содержит новое обновление для пользовательского интерфейса мониторинга, упрощающее просмотр выполнения заданий извлечения, преобразования и загрузки потока данных и быстрое определение областей для оптимизации производительности. Подробнее | |
| SQL Server Integration Services | Выполнение любых инструкций и скриптов SQL в любом месте за три шага с помощью SSIS в Фабрике данных | В этой публикации описаны три простых шага по выполнению инструкций и скриптов SQL в любом месте с помощью SSIS в Фабрике данных.
|