你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Azure 数据工厂的新增功能存档
Azure 数据工厂正在持续改进。 为及时了解最新开发成果,可参考最新的最新功能页面,其中提供了以下方面的信息:
- 最新版本。
- 已知问题。
- bug 修复。
- 已弃用的功能。
- 更改计划
此存档页保留较旧月份的更新。
查看我们全部每月更新的“新增功能”视频存档。
2023 年 9
管道
添加了对元数据驱动型管道的支持,以在 Azure SQL 中进行动态且完整的增量处理 了解详情
2023 年 8 月
更改数据捕获
数据流
数据移动
集成运行时
自托管集成运行时现在支持独立的交互式创作(预览版)了解详情
2023 年 7 月
更改数据捕获
顶级 CDC 资源现在支持架构演变。 了解详细信息
数据流
增量接收器中的合并架构选项现在支持映射数据流中的架构演变。 了解详细信息
数据移动
开发人员工作效率
文档搜索现在包含在 Azure 数据工厂搜索工具栏中。 了解详细信息
2023 年 6 月
持续集成和持续部署
NPM 包现在支持使用预下载的捆绑包来生成 ARM 模板。 如果防火墙设置阻止直接下载 NPM 包,现在可以提前预加载包,让 NPM 包改用本地版本。 这是在防火墙环境中对 CI/CD 管道的超级提升。
区域扩展
Azure 数据工厂现可用于瑞典中部。 如果使用此新区域来存储和管理新式数据仓库,则可以在该区域中归置 ETL 工作流。 了解详细信息
数据移动
现在支持使用 Azure 数据工厂的出站网络规则保护出站流量。 了解详细信息
连接器
现在支持使用映射数据流将 Amazon S3 连接器作为接收器目标。 了解详细信息
数据流
我们在顶层 CDC 资源中引入了 DelimitedText 和 JSON 源的可选源设置。 数据工厂中的顶层 CDC 资源现在支持分隔源和 JSON 源的可选源配置。 现在可以为分隔源选择列/行分隔符,并设置 JSON 源的文档类型。 了解详细信息
2023 年 5 月
Microsoft Fabric 中的数据工厂
Microsoft Fabric 中的数据工厂提供云规模数据移动和数据转换服务,使你能够应对非常复杂的数据工厂和 ETL 场景。 它旨在使数据工厂体验易于使用、功能强大且真正企业级。
2023 年 4 月
数据流
在 ADF 数据流中轻松展开多个数组。 ADF 更新了“平展”转换,现在可以非常轻松地通过单个“平展”转换步骤展开多个数组。 了解详细信息
持续集成和持续部署
现在可以在 Git 模式下自定义提交消息。 键入有关所做更改的详细说明,我们会将其保存到 Git 存储库。
连接器
Azure Blob 存储连接器现在支持匿名身份验证。 了解详细信息
2023 年 3 月
连接器
Azure Data Lake Storage Gen2 连接器现在支持共享访问签名身份验证。 了解详细信息
2023 年 2 月
数据移动
资源协调
开发人员工作效率
添加了深色主题支持(公共预览版)了解详细信息
2023 年 1 月
数据流
数据移动
新的顶级 CDC 资源 - 原生 CDC 配置,只需 3 个简单步骤即可完成 了解详情
资源协调
原生编排 Synapse 笔记本和 Synapse Spark 作业定义 了解详情
区域扩展
SQL Server Integration Services (SSIS)
SSIS 的快速虚拟网络注入现已正式发布 了解详情
开发人员工作效率
- 在主页上添加了对资源收藏的支持
- 保存用于管道监视的列宽
- 监视筛选器更新以加快搜索速度
- 通过 Azure 门户直接启动管道模板库
2022 年 12 月
数据流
SQL 变更数据捕获 (CDC) 增量提取 - 支持映射数据流中的数字列 了解详细信息
数据移动
Azure 数据工厂中 SSIS 的快速虚拟网络注入已正式发布 了解详细信息
区域扩展
持续区域扩张 - Azure 数据工厂现已在中国北部 3 推出 了解详细信息
2022 年 11 月
数据流
- 增量仅在 SAP CDC 中可用 - 仅从 SAP 系统获取更改,而不需要初始完全加载 了解详细信息
- SAP CDC 初始完整数据加载中的源分区,用于提高性能 了解详细信息
- 新的管道模板 - 通过 SAP CDC 从 SAP 加载多个大额对象 了解详细信息
数据移动
- 通过数据工厂托管的虚拟网络中的专用链接支持 Azure Databricks 了解详细信息
用户界面
ADF Studio 预览体验中添加了 2 项管道设计器增强功能
持续集成和持续部署
在自动发布配置中,可以使用“禁止发布”按钮来避免覆盖上一个自动发布部署 了解详细信息
2022 年 10 月
视频摘要
数据流
- 最多可从数据流预览中导出 1000 行了解详细信息
- 映射数据流中的 SQL CDC 现已发布(公共预览版)了解详细信息
- 使用 Microsoft 365 映射数据流连接器解锁高级分析了解详细信息
- SAP 变更数据捕获 (CDC) 现已正式发布了解详细信息
开发人员工作效率
- 模板库现在接在接受社区贡献了解详细信息
- Azure 门户中的新设计 - 轻松了解如何启动 ADF 工作室 了解详细信息
- Azure 数据工厂工作室中现已正式发布学习中心了解详细信息
- 一键试用 Azure 数据工厂了解详细信息
资源协调
区域扩展
持续区域扩张 - 现支持卡塔尔中部 了解详细信息
持续集成和持续部署
排除部署中未更改的管道触发器现已正式发布了解详细信息
2022 年 9 月
视频摘要
数据流
- 添加了 Amazon S3 源连接器 了解详细信息
- Google Sheets 基于 REST 的连接器添加为了源(预览版)了解详细信息
- 数据流中的最大列优化 了解详细信息
- 映射数据流中的 SAP 变更数据捕获功能(预览版)- 从 SAP 系统中提取和转换数据变更来提高刷新数据效率 了解详细信息
- 通过 Dynamics 365/CRM 连接器支持的备用键将数据写入查找字段来映射数据流 了解详细信息
数据移动
支持将 Oracle NUMBER 类型转换为源中对应的整数 了解详细信息
监视
- Azure 数据工厂中的其他监视改进 了解详细信息
- 监视加载改进 - 管道重新运行仅在扩展时提取的分组数据
- 将分页添加到了管道活动运行视图,用于显示管道运行中的所有活动记录
- 监视消耗改进 - 添加了加载图标来了解消耗报表何时完全计算
- 监视中的附加排序列 - 为管道名称、运行结束和状态添加了排序
- 时区设置现在保存在监视中
- IR 监视现支持甘特图视图 了解详细信息
资源协调
Web 活动中的 DELETE 方法现支持使用 HTTP 请求发送正文 了解详细信息
用户界面
- 为 6 个附加链接服务(SAP ODP、ODBC、Microsoft Access、Informix、Snowflake 和 DB2)添加了对参数化的本机 UI 支持 了解详细信息
- 工作室预览版体验中添加了管道设计器增强功能 - 用户可以查看管道对象内的工作流,例如 For Each、If Then 等 了解详细信息
2022 年 8 月
视频摘要
数据流
数据移动
为 Azure Blob 存储添加了服务主体身份验证类型 了解详细信息
开发人员工作效率
- 默认活动超时从 7 天更改为了 12 小时了解详细信息
- 新的数据工厂创建体验 - 单击 1 次即可在几秒钟内准备好工厂 了解详细信息
- 表达式生成器 UI 更新 - 添加了分类选项卡来简化使用 了解详细信息
持续集成和持续交付 (CI/CD)
当 CI/CD 集成 ARM 模板时,它可排除在部署中未更改的触发器,而不必关闭所有触发器。 了解详细信息
2022 年 7 月
视频摘要
数据流
- 将 Asana 连接器添加为了源 了解详细信息
- 现在支持 3 个新的数据转换函数了解详细信息
- collectUnique() - 在数组中新建一个唯一值集合。
- substringIndex() - 在出现 n 次分隔符之前提取子字符串。
- topN() - 对数据进行排序后返回前 n 个结果。
- 在“刷新显示数据源更改”场景中提供了“从源重新提取”了解详细信息
- 用户定义的函数 (GA) - 创建可重用和自定义的表达式,以避免反复生成复杂的逻辑 了解详细信息视频
- 更轻松地配置数据流运行时 - 选择计算大小(小型、中型或大型),来预配置所有集成运行时设置 了解详细信息
持续集成和持续交付 (CI/CD)
包括 ARM 模板中支持的全局参数。 了解详细信息
开发人员工作效率
成为 Azure 数据工厂工作室预览功能的一部分 - 体验最新的 Azure 数据工厂功能并率先分享反馈 了解详细信息
2022 年 6 月
视频摘要
服务类别 | 服务改进 | 详细信息 |
数据流 | 数据流支持模糊联接 | 数据流的联接转换现在支持模糊联接,在联接条件上具有可配置的相似性分数。 了解详细信息 |
源投影中的编辑功能 | 在 Dataflow 中可以使用源投影中的编辑功能,以轻松修改架构 了解详细信息 | |
断言错误处理 | 数据流中现在支持断言错误处理,以实现数据质量和数据验证 了解详细信息 | |
数据移动 | 增加的 4 个连接器本机支持参数化 | 我们为以下链接服务添加了对参数化的本机 UI 支持:Azure Data Lake Gen1、Azure PostgreSQL、Google AdWords 和 PostgreSQL。 了解详细信息 |
新 SAP ODP 连接器(公共预览版)中的 SAP 变更数据捕获 (CDC) 功能 | 新的 SAP ODP 连接器现在支持 SAP 变更数据捕获 (CDC) 功能。 了解详细信息 | |
集成运行时 | 托管 VNET 中的生存时间(公共预览版) | 可以将生存时间设置为托管 VNET 中预配的计算值。 了解详细信息 |
Monitoring | 使用新参数重新运行管道 | 现在可以使用 Azure 数据工厂中的新参数值重新运行管道。 了解详细信息 |
业务流程 | “turnOffAsync”属性在 Web 活动中可用 | Web 活动支持异步请求-答复模式,该模式在 HTTP 202 响应的响应头中的“位置”字段上调用 HTTP GET。 它帮助 Web 活动自动轮询监视终结点,直到作业运行。 支持“turnOffAsync”属性,以在无需轮询的情况下禁用此行为 了解详细信息 |
2022 年 5 月
服务类别 | 服务改进 | 详细信息 |
数据流 | 用于映射数据流的用户定义函数 | Azure 数据工厂在公共预览版中引入了用户定义的函数和数据流库。 用户定义的函数是一个自定义表达式,可以对其进行定义,以便能够在多个映射数据流之间重用逻辑。 用户定义的函数存在于一个称为数据流库的集合中,以便能够轻松地对常用自定义函数集进行分组。 了解详细信息 |
2022 年 4 月
服务类别 | 服务改进 | 详细信息 |
数据流 | 映射数据流中的数据预览和调试改进 | 使用 AutoResolve Azure 集成运行时 (IR) 的调试会话现在将在 10 秒内开启。 映射数据流中的数据预览面板有新的更新。 现在,可以通过选择列标题对数据预览视图中的行进行排序。 可以交互方式移动列。 还可以使用“导出 CSV”将数据预览结果保存为 CSV。 了解详细信息 |
Dataverse 连接器可用于映射数据流 | Dataverse 连接器作为源和接收器,可用于映射数据流。 了解详细信息 | |
支持用户数据库架构在数据流接收器中使用 Azure Synapse Analytics 和 PostgreSQL 连接器暂存 | 数据流接收器现在支持使用用户数据库架构在 Azure Synapse Analytics 和 PostgreSQL 连接器中暂存。 了解详细信息 | |
Monitoring | 数据工厂监视体验的多个更新 | 数据工厂中监视体验的新更新,包括将结果导出到 CSV、清除所有筛选器以及在新选项卡中打开运行。还改进了列和结果的缓存。 了解详细信息 |
User interface(用户界面) | 新的区域格式支持 | 在设置中选择语言和区域格式会影响日期和时间等数据在 Azure 数据工厂工作室监视中的显示格式。 例如,选择英语作为区域格式时,监视中的时间格式将显示为“2022 年 4 月 2 日下午 3:40:29”这样的;选择法语作为区域格式时,将显示为“2022 年 4 月 2 日 15:40:29”这样的。 这些设置只影响 Azure 数据工厂工作室用户界面,不会更改/修改实际数据和时区。 |
2022 年 3 月
视频摘要
服务类别 | 服务改进 | 详细信息 |
数据流 | ScriptLines 和参数化链接服务支持添加的映射数据流 | 现在,使用数据流 JSON 定义中的 ScriptLines,很容易在 Git 中检测数据流脚本的更改。 参数化链接服务现在还可以在数据流中用于灵活的泛型连接模式。 了解详细信息 |
Flowlets 正式发布 (GA) | Flowlets 现已正式发布,可用于创建数据流逻辑的可重用部分,你可在其他管道中将其作为内联转换进行共享。 Flowlets 使提取、转换和加载 (ETL) 作业可以由自定义或常见逻辑组件组成。 了解详细信息 | |
更改源连接器适用于 5 个数据流源转换 | 更改源连接器可用于 Azure Cosmos DB、Azure Blob 存储、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 和通用数据模型 (CDM) 的数据流源转换。 了解详细信息 | |
映射数据流中的数据预览和调试改进 | 映射数据流中的数据预览和调试体验中新增了一些新功能。 了解详细信息 | |
用于映射数据流的 SFTP 连接器 | SFTP 连接器作为源和接收器,可用于映射数据流。 了解详细信息 | |
数据移动 | 托管虚拟网络下查找活动中的 SQL 相关连接器支持 Always Encrypted | 在托管虚拟网络下的查找活动中,SQL Server、Azure SQL 数据库、Azure SQL 托管实例和 Synapse Analytics 支持 Always Encrypted。 了解详细信息 |
集成运行时 | Azure IR 创建和编辑页面中的新 UI 布局 | IR 创建和编辑页面的 UI 布局现在对设置、虚拟网络和数据流运行时使用选项卡样式。 了解详细信息 |
业务流程 | 使用脚本活动转换数据 | 可以使用脚本活动在 SQL 数据库、Azure Synapse Analytics、SQL Server、Oracle 或 Snowflake 中调用 SQL 脚本。 了解详细信息 |
Web 活动超时改进 | 可以在 Web 活动中配置响应超时,以防止当响应时间为 1 分钟以上时响应发生超时,尤其是在同步 API 的情况下。 了解详细信息 |
2022 年 2 月
视频摘要
服务类别 | 服务改进 | 详细信息 |
数据流 | 映射数据流中支持的参数化链接服务 | 现在,可以在映射数据流中使用参数化的链接服务,使数据流管道具备通用性和灵活性。 了解详细信息 |
数据流中可用的 SQL 数据库增量源提取(公共预览版) | 在映射数据流 SQL 数据库源上添加了一个新选项,即“启用增量提取(预览版)”。 现在,可以使用数据流仅自动拉取 SQL 数据库源上已更改的行。 了解详细信息 | |
四个可用于映射数据流的新连接器(公共预览版) | 数据工厂现在支持将以下四个新连接器(公共预览版)用于映射数据流:Quickbase 连接器、Smartsheet 连接器、TeamDesk 连接器和 Zendesk 连接器。 了解详细信息 | |
用于映射数据流的 Azure Cosmos DB (SQL API) 现在支持内联模式 | 用于映射数据流的 Azure Cosmos DB (SQL API) 现在可以使用内联数据集。 了解详细信息 | |
数据移动 | 10 分钟内在数据工厂复制数据工具上获取元数据驱动的数据引入管道 (GA) | 可以在 10 分钟内使用元数据驱动的方法在复制数据工具上构建大规模数据复制管道。 了解详细信息 |
数据工厂 Google AdWords 连接器 API 升级可用 | 数据工厂 Google AdWords 连接器现在支持新的 AdWords API 版本。 新连接器的用户无需执行任何操作,因为它默认是启用的。 了解详细信息 | |
持续集成和持续交付 (CI/CD) | 跨租户 Azure DevOps 支持 | 配置使用 Azure DevOps Git 的存储库,与 Azure 数据工厂不在同一租户中。 了解详细信息 |
区域扩展 | 数据工厂现已在美国西部 3 和 Jio 印度西部推出 | 数据工厂现已在两个新区域推出:美国西部 3 和 Jio 印度西部。 如果使用这些区域来存储和管理现代数据仓库,那么可以将 ETL 工作流托管在这些新区域中。 如果需要从异地的另一个区域进行故障转移,还可以将这些区域用于业务连续性和灾难恢复目的。 了解详细信息 |
安全性 | 连接到另一个 Entra ID 租户中的 Azure DevOps 帐户 | 出于源代码管理目的,可以将数据工厂实例连接到其他 Azure AD 租户中的 Azure DevOps 帐户。 了解详细信息 |
2022 年 1 月
服务类别 | 服务改进 | 详细信息 |
数据流 | 现在,在所有使用生存时间 (TTL) 的 Azure IR 中,将自动进行快速重用 | 不再需要手动指定“快速重用”。 数据工厂映射数据流现在可以在设置 TTL 后的 5 秒内启动后续数据流活动。 了解详细信息 |
检索自定义断言说明 | 在断言转换中,可以定义自己的动态说明消息。 你可以使用新函数 assertErrorMessage() 检索逐行消息,并将其存储在目标数据中。 了解详细信息 | |
分析转换中的自动架构检测 | 分析转换中添加了一项新功能,现在可以轻松地自动检测字符串列中嵌入的复杂字段的架构。 选择“检测架构”按钮可自动设置目标架构。 了解详细信息 | |
支持将 Dynamics 365 连接器用作接收器和源 | 现在可以直接连接到 Dynamics 365,从而使用 Dynamics 365 的新映射数据流连接器大规模转换 Dynamics 数据。 了解详细信息 | |
Always Encrypted SQL 连接现在在数据流中可用 | 使用数据流时,Always Encrypted 现在可以在 SQL Server、SQL 数据库、SQL 托管实例和 Azure Synapse 中获取转换。 了解详细信息 | |
数据移动 | 数据工厂 Azure Databricks Delta Lake 连接器支持新的身份验证类型 | 数据工厂 Databricks Delta Lake 连接器现在支持另外两种身份验证类型:系统分配的托管标识身份验证和用户分配的托管标识身份验证。 了解详细信息 |
数据工厂复制活动在其他几个连接器中支持更新插入 | 数据工厂复制活动现在支持更新插入,同时将数据接收到 SQL Server、SQL 数据库、SQL 托管实例和 Azure Synapse。 了解详细信息 |
2021 年 12 月
服务类别 | 服务改进 | 详细信息 |
数据流 | Dynamics 连接器作为映射数据流的本机源和接收器 | 现在支持将 Dynamics 连接器用作映射数据流的源和接收器。 了解详细信息 |
现在本机支持本机变更数据捕获 (CDC) | Azure Cosmos DB、Blob Storage、Data Lake Storage Gen1、Data Lake Storage Gen2 和 CDM 的数据工厂现在原生支持 CDC。 了解详细信息 | |
Flowlet 公共预览版 | Flowlet 公共预览版允许数据流开发人员生成可重用的组件,以轻松生成可组合的数据转换逻辑。 了解详细信息 | |
地图数据公共预览版 | 地图数据预览版使业务用户能够定义列映射和转换以加载 Azure Synapse Lake 数据库。 了解详细信息 | |
Power Query 的多个输出目标位置 | 你现在可以在 Power Query 中映射多个数据工厂输出目标,为公民数据集成商提供灵活的 ETL 模式。 了解详细信息 | |
外部呼叫转换支持 | 使用外部调用转换扩展映射数据流的功能。 现在可以添加自己的自定义代码作为 REST 终结点,或逐行调用策展的第三方服务。 了解详细信息 | |
通过 TTL 支持在 Azure Synapse 映射数据流中实现快速重复使用 | 通过在 Azure IR 中设置 TTL,Azure Synapse 映射数据流现在支持快速重复使用。 使用设置可让后续数据流活动在五秒内执行。 了解详细信息 | |
声明转换 | 通过在映射数据流中使用 Assert 转换,轻松地向数据工厂管道添加数据质量、数据域验证和元数据检查。 了解详细信息 | |
表达式生成器中的 IntelliSense 支持,以获得更高效的管道创作体验 | 表达式生成器和动态内容创作中支持 IntelliSense,以提高数据工厂和 Synapse 管道开发人员在数据管道中编写复杂表达式时的工作效率。 了解详细信息 |
2021 年 11 月
服务类别 | 服务改进 | 详细信息 |
持续集成和持续交付 (CI/CD) | GitHub 集成改进 | 数据工厂和 GitHub 集成中的改进取消了对每种资源类型(如数据集和管道)的 1000 个数据工厂资源的限制。 对于大型数据工厂,这一更改有助于减轻 GitHub API 速率限制的影响。 了解详细信息 |
数据流 | 使用“失败”活动来设置自定义错误代码和错误消息 | “失败”活动使 ETL 开发人员能够为数据工厂管道设置错误消息和自定义错误代码。 了解详细信息 |
外部调用转换 | 映射数据流外部调用转换使 ETL 开发人员能够使用 REST 端点或第 3 方 API 服务提供的转换和数据丰富。 了解详细信息 | |
Synapse 快速重用 | 在 Synapse Analytics 中执行数据流时,请使用 TTL 功能。 TTL 功能使用快速重用功能,因此顺序数据流将在几秒钟内执行。 可以在配置 Azure IR 时设置 TTL。 了解详细信息 | |
数据移动 | 复制活动支持在不分块的情况下从 FTP 或 SFTP 读取数据 | 自动确定从 FTP 或 SFTP 服务器复制数据时要读取的文件长度或相关偏移量。 使用此功能,数据工厂自动连接到 FTP 或 SFTP 服务器以确定文件长度。 长度确定后,Data Factory 将文件分成多个区块,并行读取。 了解详细信息 |
复制活动中支持不带 BOM 的 UTF-8 | 对于 JSON 和分隔文本数据集,“复制”活动支持采用编码类型不带 BOM 的 UTF-8 来写入数据。 | |
多字符列分隔符支持 | 复制活动支持使用多字符列分隔符(用于分隔文本数据集)。 | |
集成运行时 | 使用数据工厂中的 SQL Server 集成服务 (SSIS) 分三步在任何地方运行任何进程 | 了解如何在管道中充分利用数据工厂和 SSIS 功能。 具有参数化属性的示例 SSIS 包可帮助快速入门。 使用数据工厂工作室,可以轻松地将 SSIS 包拖放到管道中,并用作执行“SSIS 包”活动的一部分。 此功能可以让你在自承载 IR 或 SSIS IR 上使用 SSIS 包运行数据工厂管道。 通过提供运行时参数值,可以同时使用数据工厂和 SSIS 功能的强大功能。 本文说明了在任何地方运行任何进程(可以是任何可执行文件,例如应用程序、程序、实用程序、批处理文件)的 3 个步骤。 了解详细信息 |
2021 年 10 月
服务类别 | 服务改进 | 详细信息 |
数据流 | Azure 数据资源管理器和 Amazon Web Services (AWS) S3 连接器 | Microsoft 数据集成团队刚刚发布了两个新的连接器,用于映射数据流。 如果你使用 Azure Synapse,现在就可以直接连接到 AWS S3 存储桶进行数据转换。 在数据工厂和 Azure Synapse 中,现在可以在映射数据流时以原生方式连接到 Azure 数据资源管理器群集。 了解详细信息 |
Power Query 活动结束预览,现已推出正式版 | 数据工厂 Power Query 管道活动现已推出正式版。 这项新功能在数据工厂浏览器 UI 内提供适用于平民集成者的横向扩展数据准备和数据整理,以便为数据工程师提供集成体验。 数据工厂中的 Power Query 数据整理功能提供强大易用的管道功能,可在单个服务中解决最复杂的数据集成和 ETL 模式。 了解详细信息 | |
“映射数据流”中的新字符串化数据转换 | “映射数据流”添加了名为“字符串化”的新数据转换,以便轻松地将结构和数组等复杂数据类型转换为字符串形式。 然后可以将这些数据类型发送到结构化输出目标。 了解详细信息 | |
集成运行时 | SSIS IR 的快速虚拟网络注入(公共预览版) | SSIS IR 现在支持快速虚拟网络注入。 了解详细信息: SSIS IR 的虚拟网络注入概述 SSIS IR 的标准与快速虚拟网络注入 SSIS IR 的快速虚拟网络注入 |
安全性 | Azure 密钥保管库集成改进 | 密钥保管库集成现在具有下拉菜单,这样用户就可以在链接服务中选择机密值。 此功能提高了工作效率,因为用户不需要输入密码,避免了导致人为错误。 |
在数据工厂中支持用户分配的托管标识 | 凭据安全对于任何企业而言都是至关重要的。 数据工厂团队致力于使数据工程过程对数据工程师而言既安全,又简单。 现在,所有支持基于 Azure AD 的身份验证的连接器和链接服务都支持用户分配的托管标识(预览版)。 了解详细信息 |
2021 年 9 月
服务类别 | 服务改进 | 详细信息 |
持续集成和持续交付 | 扩展的 CI/CD 功能 | 现在可以基于数据工厂中的任何其他分支创建新的 Git 分支。 了解详细信息 |
数据移动 | 适用于 Oracle 源的 Amazon 关系数据库服务 (RDS) | Amazon RDS for Oracle 源连接器现已在数据工厂和 Azure Synapse 中可用。 了解详细信息 |
Amazon RDS for SQL Server 源 | Amazon RDS for SQL Server 源连接器现已在数据工厂和 Azure Synapse 中可用。 了解详细信息 | |
支持从 Azure Database for PostgreSQL 进行并行复制 | Azure Database for PostgreSQL 连接器现在支持并行复制操作。 了解详细信息 | |
数据流 | 使用 Data Lake Storage Gen2 执行预处理和后处理命令 | 现在可以使用数据流中的 Data Lake Storage Gen2 接收器执行 Hadoop 分布式文件系统预处理和后处理命令。 了解详细信息 |
为 Azure IR 的现有实例编辑数据流属性 | Azure IR 已更新,允许编辑现有 IR 的数据流属性。 现在无需创建新的 Azure IR 即可修改数据流计算属性。 了解详细信息 | |
用于改进管道活动执行启动时间的 Azure Synapse 的 TTL 设置 | Azure Synapse 已将 TTL 添加到 Azure IR,使数据流管道活动能够在几秒钟内开始执行,从而大大缩短数据流管道的运行时间。 了解详细信息 | |
集成运行时 | 数据工厂托管虚拟网络 GA | 现在,可以将 Azure IR 作为托管虚拟网络的一部分进行预配,并使用专用终结点安全地连接到受支持的数据存储。 数据流量通过 Azure 专用链接,这些链接提供到数据源的安全连接。 它还可防止数据外泄到公共 Internet。 了解详细信息 |
业务流程 | 为数据管道操作和提供 SLA | 新的运行时间管道运行指标与数据工厂警报相结合,使数据管道开发人员能够更好地向客户提供 SLA。 现在你可以确定管道应该运行多长时间,当管道运行时间超过预期时,我们会主动通知。 了解详细信息 |
失败活动(公共预览版) | 新的失败活动允许出于任何原因有意在管道中引发错误。 例如,如果查找活动未返回匹配数据或自定义活动结束时出现内部错误,则可以使用失败活动。 了解详细信息 |
2021 年 8 月
服务类别 | 服务改进 | 详细信息 |
持续集成和持续交付 | 使用 Azure 政府和由世纪互联运营的 Microsoft Azure 中的 GitHub 支持改进 CI/CD | 我们在美国政府版 Azure 和由世纪互联运营的 Azure 中添加了 GitHub 支持。 了解详细信息 |
数据移动 | Azure Cosmos DB 的用于 MongoDB 连接器的 API 在数据工厂中支持 3.6 和 4.0 版本 | 数据工厂 Azure Cosmos DB 的用于 MongoDB 连接器的 API 现在支持服务器版本 3.6 和 4.0。 了解详细信息 |
增强通过使用 COPY 语句将数据加载到 Azure Synapse 的功能 | 当前,数据工厂 Azure Synapse 连接器支持带有 *.* 的暂存复制和复制源作为 COPY 语句的wildcardFilename。 了解详细信息 | |
数据流 | REST 终结点可用作数据流中的源和接收器 | 现在,数据工厂和 Azure Synapse 中的数据流支持 REST 终结点作为源和接收器,同时完全支持 JSON 和 XML 有效负载。 了解详细信息 |
集成运行时 | 诊断工具可用于自承载 IR | 用于自承载 IR 的诊断工具旨在提供更好的用户体验并帮助用户查找潜在问题。 该工具在自承载 IR 计算机上运行一系列测试方案。 每个方案都有针对常见问题的典型运行状况检查案例。 了解详细信息 |
业务流程 | 具有高级筛选选项 GA 的自定义事件触发器 | 现在可以创建一个触发器,用于响应发布到 Azure 事件网格的自定义主题。 还可以使用高级筛选对要响应的事件进行精细控制。 了解详细信息 |
2021 年 7 月
服务类别 | 服务改进 | 详细信息 |
数据移动 | 10 分钟内在数据工厂复制数据工具上获取元数据驱动的数据引入管道(公共预览版) | 现在可以在 10 分钟内使用元数据驱动的方法在复制数据工具(公共预览版)上构建大规模数据复制管道。 了解详细信息 |
数据流 | 在数据流转换函数中添加的新映射函数 | 一组新的数据流转换函数,使数据工程师能够轻松生成、读取和更新映射数据类型和复杂映射结构。 了解详细信息 |
集成运行时 | 数据工厂管理的虚拟网络中提供了五个新区域(公共预览版) | 数据工厂托管虚拟网络(公共预览版)提供五个新区域:中国东部 2、中国北部 2、美国政府亚利桑那州、美国政府得克萨斯州和美国政府弗吉尼亚州。 |
开发人员工作效率 | 数据工厂主页改进 | 重新设计了数据工厂主页,具有更好的对比度和重排功能。 主页上引入了一些部分,可帮助你提高数据集成过程中的工作效率。 了解详细信息 |
数据工厂工作室的新登陆页面 | Azure 门户中“数据工厂”窗格的登陆页。 了解详细信息 |
2021 年 6 月
服务类别 | 服务改进 | 详细信息 |
数据移动 | 提供数据工厂复制数据工具的新用户体验 | 重新设计的复制数据工具现已推出,并改进了数据引入体验。 了解详细信息 |
支持将 MongoDB 和 MongoDB Atlas 用作源和接收器 | 借助此项改进,可以在任何受支持的数据存储与 MongoDB 或 MongoDB Atlas 数据库之间复制数据。 了解详细信息 | |
用作源和接收器的 SQL 数据库、SQL 托管实例和 SQL Server 连接器支持 Always Encrypted | Always Encrypted 可用于 SQL 数据库、SQL 托管实例和 SQL Server 连接器的数据工厂中的复制活动。 了解详细信息 | |
下沉到 Data Lake Storage Gen2 或 Blob 存储时,复制活动支持设置自定义元数据 | 写入 Data Lake Storage Gen2 或 Blob 存储时,复制活动支持将源文件上次修改信息的自定义元数据或存储设置为元数据。 了解详细信息 | |
数据流 | 现在支持将 SQL Server 用作数据流中的源和接收器 | 现在支持将 SQL Server 用作数据流中的源和接收器。 单击以下链接可了解如何使用 Azure IR 托管虚拟网络功能配置网络,以便与本地 SQL Server 和基于云 VM 的实例通信。 了解详细信息 |
现在,默认将为所有新的 Azure IR 启用数据流群集快速重用 | 常用的数据流快速启动重用功能现在对于数据工厂是正式版本。 现在,所有新的 Azure IR 默认将启用快速重用。 了解详细信息 | |
Power Query(公共预览版)活动 | 现在,可以使用数据工厂数据整理来生成复杂字段到 Power Query 接收器的映射。 为了适应此项更新,管道中的 Power Query(公共预览版)活动内现已配置接收器。 了解详细信息 | |
更新了数据工厂中的数据流监视 UI | 数据工厂为监视 UI 提供了新的更新,以便更轻松地查看数据流 ETL 作业执行,并快速确定哪些方面需要优化性能。 了解详细信息 | |
SQL Server Integration Services | 使用数据工厂中的 SSIS 分三步在任意位置运行任何 SQL 语句或脚本 | 以下链接提供了 3 个步骤,用于在数据工厂中使用 SSIS 在任意位置运行任何 SQL 语句或脚本。
|