Azure Data Factory の新しいアーカイブとは
Azure Data Factory には継続的に改善が施されています。 最新の開発状況を把握するには、次の情報が記載されている最新の [新着情報] ページを参照してください。す。
- 最新のリリース
- 既知の問題
- バグが修正されました。
- 非推奨の機能
- 変更の計画
このアーカイブ ページには、前月の更新が保持されています。
すべての毎月の更新情報については、新機能のビデオ アーカイブをご覧ください。
2023 年 9 月
Pipelines
Azure SQL での動的な完全および増分処理のためのメタデータ駆動型のパイプラインのサポートを追加しました 詳細
2023 年 8 月
変更データ キャプチャ
- 最上位の CDC リソースでの Azure Synapse Analytics ターゲットの可用性 詳細情報
- パブリック プレビューでのマッピング データ フローの Snowflake コネクタによる変更データ キャプチャのサポート 詳細情報
データ フロー
- パイプライン変数で使用できる整数型 詳細情報
- 最上位の CDC リソースで使用できる Snowflake CDC ソース コネクタ 詳細情報
- より多くのリンク サービスのパラメーター化のネイティブ UI サポート 詳細情報
データの移動
- Application Gateway と MySQL フレキシブル サーバーのマネージド プライベート エンドポイントのサポート 詳細情報
- マネージド仮想ネットワークの Time to Live (TTL) の一般提供 詳細情報
統合ランタイム
セルフホステッド統合ランタイムで自己完結型のインタラクティブな編集がサポートされるようになりました (プレビュー) 詳細情報
2023 年 7 月
変更データ キャプチャ
最上位の CDC リソースでスキーマの展開がサポートされるようになりました。 詳細情報
データ フロー
差分シンクのマージ スキーマ オプションで、マッピング データ フローでのスキーマの展開がサポートされるようになりました。 詳細情報
データの移動
開発者の生産性
ドキュメント検索が Azure Data Factory 検索ツール バーに含まれるようになりました。 詳細情報
2023 年 6 月
継続的インテグレーションと継続的配置
npm パッケージでは、ARM テンプレートをビルドするために、事前にダウンロードしたバンドルを使用できるようになりました。 ファイアウォール設定で npm パッケージの直接ダウンロードがブロックされている場合は、代わりにパッケージを事前に読み込み、npm パッケージにローカル バージョンを使用させることができるようになりました。 これは、ファイアウォール環境での CI/CD パイプラインのスーパー ブーストです。
リージョンの拡大
Azure Data Factory はスウェーデン中部で利用可能になりました。 最新のデータ ウェアハウスを格納および管理するために、これらのリージョンを利用している場合は、これらの新しいリージョンに ETL ワークフローを併置できます。 詳細情報
データの移動
Azure Data Factory の送信ネットワーク規則を使用した送信トラフィックのセキュリティ保護がサポートされるようになりました。 詳細情報
コネクタ
マッピング データ フローを使用する際に、Amazon S3 コネクタをシンクの宛先として指定できるようになりました。 詳細情報
データ フロー
最上位の CDC リソースで、DelimitedText ソースと JSON ソース用にオプションのソース設定が導入されます。 データ ファクトリの最上位 CDC リソースで、区切り記号付きソースと JSON ソース用にオプションのソース構成がサポートされるようになりました。 区切りソースの列/行区切り記号を選択し、JSON ソースのドキュメントの種類を設定できるようになりました。 詳細情報
2023 年 5 月
Microsoft Fabric の Data Factory
Microsoft Fabric の Data factory には、最も複雑なデータ ファクトリと ETL のシナリオを解決できる、クラウド規模のデータ移動とデータ変換サービスが用意されています。 これは、データ ファクトリのエクスペリエンスを使いやすく、強力で、真にエンタープライズ レベルにすることを目的としています。
2023 年 4 月
Data flow
ADF データ フローで複数の配列を簡単に登録解除できます。 ADF でフラット化変換が更新しました。これにより、単一のフラット化変換ステップから複数の配列を簡単に登録解除できるようになりました。 詳細情報
継続的インテグレーションと継続的配置
Git モードのコミット メッセージをカスタマイズできるようになりました。 行った変更に関する詳細な説明を入力すると、Git リポジトリに保存されます。
コネクタ
Azure Blob Storage コネクタで匿名認証がサポートされるようになりました。 詳細情報
2023 年 3 月
コネクタ
Azure Data Lake Storage Gen2 コネクタで Shared Access Signature 認証がサポートされるようになりました。 詳細情報
2023 年 2 月
データの移動
- Azure BLOB ストレージに対して匿名の認証の種類がサポートされます 詳細情報
- 差分形式で SAP データを ADLSGen2 に簡単に移動できるように SAP テンプレートを更新しました 詳細情報
オーケストレーション
開発者の生産性
ダーク テーマのサポートが追加されました (パブリック プレビュー) 詳細情報
2023 年 1 月
データ フロー
データの移動
新しい最上位 CDC リソース - 3 つの簡単なステップでのネイティブ CDC 構成 詳細情報
オーケストレーション
Synapse ノートブックと Synapse Spark ジョブ定義のネイティブなオーケストレーションの詳細情報
リージョンの拡大
SQL Server Integration Services (SSIS)
SSIS 用の高速仮想ネットワーク インジェクションが一般提供になりました 詳細情報
開発者の生産性
- ホーム ページでの優先リソースのサポートが追加されました
- パイプライン監視用に列の幅を保存します
- 検索の高速化のためにフィルターの更新を監視します
- Azure portal を使ってパイプライン テンプレート ギャラリーを直接起動する
2022 年 12 月
データ フロー
SQL 変更データ キャプチャ (CDC) 増分抽出 - マッピング データフローで数値列をサポートする 詳細情報
データの移動
Azure Data Factory での SSIS のための高速仮想ネットワーク インジェクションが一般提供になりました 詳細情報
リージョンの拡大
継続的なリージョンの拡張 - Azure Data Factory が中国北部 3 で利用できるようになりました 詳細情報
2022 年 11 月
Data flow
- SAP CDC では増分のみを使用可能に - 初期完全読み込みなしで SAP システムからのみ変更が取得されます 詳細情報
- パフォーマンス向上のため、ソース パーティションで SAP CDC の初期完全データ読み込み 詳細情報
- 新しいパイプライン テンプレート - SAP CDC を介して SAP から大量の複数オブジェクトを読み込み 詳細情報
データ移動
- Data Factory マネージド仮想ネットワークからのプライベート リンクを介した Azure Databricks のサポート 詳細情報
ユーザー インターフェイス
ADF Studio プレビュー エクスペリエンスへの 2 つのパイプライン デザイナー機能強化の追加
- 動的コンテンツのポップアップ - 式ビルダーを使用せずにパイプライン アクティビティで動的コンテンツを簡単に設定可能に 詳細情報
- エラー メッセージの場所が [状態] 列に変更 - [失敗] のパイプライン実行が表示されたときのエラーが見やすくなりました 詳細情報
継続的インテグレーションと継続的配置
自動発行構成で、発行を無効にするボタンを使用して、最後の自動発行デプロイの上書きを無効にできるようになりました 詳細情報
2022 年 10 月
ビデオの概要
データ フロー
- データ フロー プレビューから最大 1000 行をエクスポートします 詳細情報
- マッピング データ フローの SQL CDC が利用できるようになりました (パブリック プレビュー) 詳細情報
- Microsoft 365 マッピング データ フロー コネクタを使用して高度な分析へのロックを解除します 詳細情報
- SAP 変更データキャプチャ (CDC) が一般提供になりました 詳細情報
開発者の生産性
- テンプレート ギャラリーへのコミュニティの投稿を受け付けています 詳細情報
- Azure portal の新しいデザイン - ADF スタジオを起動する方法が簡単にわかります 詳細情報
- Azure Data Factory スタジオでラーニング センターを利用できるようになりました 詳細情報
- ワンクリックで Azure Data Factory を試します 詳細情報
オーケストレーション
- ADF で詳細な課金ビューが利用可能 - パイプライン別の詳細な課金情報を表示します (パブリック プレビュー) 詳細情報
- スクリプト アクティビティの実行タイムアウトが構成できるようになりました 詳細情報
リージョンの拡大
引き続きリージョンを拡張 – カタール中部がサポートされるようになりました 詳細情報
継続的インテグレーションと継続的配置
デプロイで変更されなかったパイプライン トリガーの除外が一般提供になりました 詳細情報
2022 年 9 月
ビデオの概要
データ フロー
- Amazon S3 ソース コネクタを追加しました 詳細情報
- Google Sheets REST ベースのコネクタがソースとして追加されました (プレビュー) 詳細情報
- データフローの最大列の最適化 詳細情報
- マッピング データ フローの SAP Change Data Capture 機能 (プレビュー) - より効率的なデータ更新のために SAP システムからデータ変更を抽出および変換します 詳細情報
- Dynamics 365/CRM コネクタでサポートされているマッピング データ フロー用の代替キーを使用してルックアップ フィールドにデータを書き込みます 詳細情報
データの移動
Oracle NUMBER 型をソース内の対応する整数に変換するサポート 詳細情報
監視
- Azure Data Factory の追加の監視機能強化 詳細情報
- 読み込みの監視機能強化 - パイプラインの再実行グループ化データは、展開されたときにのみフェッチします
- パイプライン実行のすべてのアクティビティ レコードを表示するパイプライン アクティビティの実行ビューに改ページ位置の自動修正を追加しました
- 消費の監視機能強化 - 消費レポートが完全に計算されるタイミングを知るために読み込みアイコンを追加しました
- 監視の追加の並べ替え列 - パイプライン名、実行終了、および状態に並べ替えを追加しました
- タイム ゾーン設定が監視に保存されるようになりました
- IR 監視でガント チャート ビューがサポートされるようになりました 詳細情報
オーケストレーション
Web アクティビティの DELETE メソッドで HTTP 要求を使用した本文の送信がサポートされるようになりました 詳細情報
ユーザー インターフェイス
- SAP ODP、ODBC、Microsoft Access、Informix、Snowflake、DB2 の 6 つのリンク サービスに対してパラメーター化のネイティブ UI サポートを追加しました 詳細情報
- Studio Preview エクスペリエンスにパイプライン デザイナーの機能強化を追加 - ユーザーは、For Each、If Then などのパイプライン オブジェクト内のワークフローを表示できます。詳細情報
2022 年 8 月
ビデオの概要
データ フロー
- Appfigures コネクタをソースとして追加 (プレビュー) 詳細情報
- キャスト変換を追加 - データ型を視覚的に変換します 詳細情報
- インライン データセットの新しい UI - データ ソースを簡単に見つけるためにカテゴリを追加しました 詳細情報
データの移動
Blob Storage 用にサービス プリンシパル認証の種類を追加しました 詳細情報
開発者の生産性
- 既定のアクティビティ タイムアウトを 7 日から 12 時間に変更しました 詳細情報
- 新しいデータ ファクトリの作成エクスペリエンス - 1 回のクリックだけで数秒以内にファクトリの準備が完了します 詳細情報
- 式ビルダー UI の更新 – 使いやすくするためにカテゴリ タブを追加しました 詳細情報
継続的インテグレーションと継続的デリバリー (CI/CD)
CI/CD が ARM テンプレートを統合している場合は、すべてのトリガーを無効化する代わりに、デプロイで変更されなかったトリガーを除外できます 詳細情報
2021 年 7 月
ビデオの概要
データ フロー
- Asana コネクタをソースとして追加しました 詳細情報
- 3 つの新しいデータ変換関数がサポートされるようになりました 詳細情報
- collectUnique() - 配列内の一意の値の新しいコレクションを作成します。
- substringIndex() - 区切り記号が n 個出現する前に部分文字列を抽出します。
- topN() - データの並べ替え後に上位 n 個の結果を返します。
- データ ソース変更のシナリオにおいて更新ボタンで表示されるソースからの再フェッチ 詳細情報
- ユーザー定義関数 (GA) - 再利用可能でカスタマイズされた式を作成し、複雑なロジックを繰り返し構築しないようにします 詳細情報 ビデオ
- データ フロー ランタイムでの構成を簡素化 - コンピューティング サイズを小、中、大から選択して、すべての統合ランタイムの設定を事前に構成 詳細情報
継続的インテグレーションと継続的デリバリー (CI/CD)
サポートされているグローバル パラメーターを ARM テンプレートに含めます。 詳細情報
開発者の生産性
Azure Data Factory のスタジオ プレビュー機能 - Azure Data Factory の最新の機能を体験し、初期段階のフィードバックを共有できます 詳細情報
2022 年 6 月
ビデオの概要
| サービス カテゴリ | 詳細 | |
| データ フロー | データ フローでサポートされるあいまい結合 | あいまい結合は、結合条件で構成可能な類似性スコアを持つデータ フローの結合変換でサポートされるようになりました。 詳細情報 |
| ソース プロジェクションの編集機能 | ソース プロジェクションの編集機能は Dataflow で使用でき、スキーマを簡単に変更できます。 詳細情報 | |
| アサート エラー処理 | データ品質とデータ検証のためにデータ フローでアサート エラー処理がサポートされるようになりました 詳細情報 | |
| 追加の 4 つのコネクタでネイティブにサポートされるパラメーター化 | Azure Data Lake Gen1、Azure PostgreSQL、Google AdWords、PostgreSQL のリンク サービスに対して、パラメーター化のネイティブ UI サポートを追加しました。 詳細情報 | |
| 新しい SAP ODP コネクタの SAP 変更データ キャプチャ (CDC) 機能 (パブリック プレビュー) | 新しい SAP ODP コネクタで SAP 変更データ キャプチャ (CDC) 機能がサポートされるようになりました。 詳細情報 | |
| マネージド VNET での Time-To-Live (パブリック プレビュー) | Time-To-Live は、マネージド VNET でプロビジョニングされたコンピューティングに設定できます。 詳細情報 | |
| Monitoring | 新しいパラメーターを指定してパイプラインを再実行する | Azure Data Factory の新しいパラメーター値を使用してパイプラインを再実行できるようになりました。 詳細情報 |
| 'turnOffAsync' プロパティは Web アクティビティで使用できます | Web アクティビティでは、HTTP 202 応答の応答ヘッダーの Location フィールドで HTTP GET を呼び出す非同期の要求/応答パターンがサポートされています。 Web アクティビティは、ジョブが実行されるまで監視エンドポイントを自動的にポーリングするのに役立ちます。 ポーリングが必要ない場合にこの動作を無効にするために、'turnOffAsync' プロパティがサポートされています 詳細情報 |
2022 年 5 月
| サービス カテゴリ | 詳細 | |
| データ フロー | マッピング データ フローのためのユーザー定義関数 | Azure Data Factory で、パブリック プレビューのユーザー定義関数とデータ フロー ライブラリが導入されます。 ユーザー定義関数は、複数のマッピング データ フロー間でロジックを再利用できるようにユーザーが定義できるカスタマイズされた式です。 ユーザー定義関数は、カスタマイズされた関数の共通セットを簡単にグループ化できるように、データ フロー ライブラリと呼ばれるコレクション内に存在します。 詳細情報 |
2022 年 4 月
| サービス カテゴリ | 詳細 | |
| データ フロー | マッピング データ フローでのデータ プレビューとデバッグの機能強化 | AutoResolve Azure 統合ランタイム (IR) を使用したデバッグ セッションが 10 秒以内に起動するようになります。 マッピング データ フローのデータ プレビュー パネルに新しい更新があります。 列ヘッダーを選択して、データ プレビュー ビュー内の行を並べ替えることができます。 対話形式で列を移動できます。 [CSV のエクスポート] を使用して、データ プレビューの結果を CSV として保存することもできます。 詳細情報 |
| マッピング データ フローで使用できる Dataverse コネクタ | Dataverse コネクタは、マッピング データ フローでソースおよびシンクとして使用できます。 詳細情報 | |
| データ フロー シンクで Azure Synapse Analytics コネクタと PostgreSQL コネクタを使用してステージングを行うためのユーザー データベース スキーマのサポート | Azure Synapse Analytics コネクタと PostgreSQL コネクタの両方で、ユーザー データベース スキーマをステージングに使用することがデータ フロー シンクでサポートされるようになりました。 詳細情報 | |
| Monitoring | Data Factory 監視エクスペリエンスの複数の更新 | Data Factory の監視エクスペリエンスに対する新しい更新には、CSV への結果のエクスポート、すべてのフィルターのクリア、新しいタブでの実行のオープンといった機能などが含まれます。列と結果のキャッシュも改善されます。 詳細情報 |
| ユーザー インターフェイス | 新しい地域設定のサポート | 設定で言語と地域の形式を選択すると、Azure DataFactoryStudio の監視で日付や時刻などのデータがどのように表示されるかの形式に影響します。 たとえば、[監視] の時間形式は、地域形式として英語を選択すると "Apr 2, 2022, 3:40:29 pm" のように表示され、地域形式としてフランス語を選択する場合は "2 Apr 2022, 15:40:29" のように表示されます。 これらの設定は、Azure Data Factory Studio のユーザー インターフェイスにのみ影響し、実際のデータやタイムゾーンが変更または修正されることはありません。 |
2022 年 3 月
ビデオの概要
| サービス カテゴリ | 詳細 | |
| データ フロー | ScriptLines とパラメーター化されたリンク サービスでは、追加されたマッピング データ フローがサポートされます | これで、データ フロー JSON 定義で ScriptLines を使用して、Git のデータ フロー スクリプトに対する変更を、簡単に検出できるようになりました。 パラメーター化されたリンク サービスをデータ フロー内で使用して、柔軟な汎用接続パターンを実現することもできます。 詳細情報 |
| Flowlets の一般提供 (GA) | Flowlet は、他のパイプラインでインライン変換として共有できる、データ フロー ロジックの再利用可能な部分を作成するために一般提供されています。 Flowlet を使用すると、抽出、変換、読み込み (ETL) ジョブをカスタムまたは共通のロジック コンポーネントで構成できます。 詳細情報 | |
| 変更フィード コネクタは、5 つのデータ フロー ソース変換で使用できます | 変更フィード コネクタは、Azure Cosmos DB、Azure Blob Storage、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、および共通データ モデル (CDM) のデータ フロー ソース変換で使用できます。 詳細情報 | |
| マッピング データ フローでのデータ プレビューとデバッグの機能強化 | マッピング データ フローでのデータ プレビューとデバッグ エクスペリエンスに、新機能が追加されました。 詳細情報 | |
| マッピング データ フローの SFTP コネクタ | SFTP コネクタは、ソースとシンクの両方としてマッピング データ フローで利用できます。 詳細情報 | |
| データの移動 | マネージド仮想ネットワークの検索アクティビティで、SQL 関連のコネクタに対して Always Encrypted をサポート | Always Encrypted は、マネージド仮想ネットワークの検索アクティビティで、SQL Server、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics に対してサポートされています。 詳細情報 |
| Integration Runtime | Azure IR の作成および編集ページの新しい UI レイアウト | IR の作成および編集ページの UI レイアウトが、設定、仮想ネットワーク、データ フロー ランタイムなどのタブ スタイルを使用するようになりました。 詳細情報 |
| Script アクティビティを使用してデータを変換する | スクリプト アクティビティを使用すると、SQL Database、Azure Synapse Analytics、SQL Server、Oracle、Snowflake で SQL スクリプトを呼び出すことができます。 詳細情報 | |
| Web アクティビティ タイムアウトの改善 | 特に同期 API の場合は、応答期間が 1 分を超える場合にタイムアウトしないように、Web アクティビティの応答タイムアウトを構成できます。 詳細情報 |
2022 年 2 月
ビデオの概要
| サービス カテゴリ | 詳細 | |
| データ フロー | マッピング データ フローでサポートされるパラメーター化されたリンク サービス | パラメーター化されたリンク サービスをマッピング データ フローで使って、データ フロー パイプラインを汎用的で柔軟にできるようになりました。 詳細情報 |
| データ フローで使用できる SQL Database の増分ソース抽出 (パブリック プレビュー) | マッピング データ フローの SQL Database ソースに、[増分抽出を有効にする (プレビュー)] という新しいオプションが追加されました。 データ フローを使って、SQL Database ソースで変更された行のみを自動的にプルできるようになりました。 詳細情報 | |
| マッピング データ フローに使用できる 4 つの新しいコネクタ (パブリック プレビュー) | Data Factory で、マッピング データ フロー用に 4 つの新しいコネクタ (パブリック プレビュー) がサポートされるようになりました: Quickbase コネクタ、Smartsheet コネクタ、TeamDesk コネクタ、Zendesk コネクタ。 詳細情報 | |
| マッピング データ フロー用の Azure Cosmos DB (SQL API) で、インラインモードがサポートされるようになった | マッピング データ フロー用の Azure Cosmos DB (SQL API) で、インライン データセットを使えるようになりました。 詳細情報 | |
| データの移動 | 10 分以内に Data Factory データ コピー ツールでメタデータ駆動型データ インジェスト パイプラインを取得する (GA) | コピー データ ツールでメタデータ駆動型アプローチを使用して大規模なデータ コピー パイプラインを 10 分以内に構築できるようになりました。 詳細情報 |
| Data Factory Google AdWords コネクタ API アップグレードを利用できる | Data Factory Google AdWords コネクタで、新しいバージョンの AdWords API がサポートされるようになりました。 既定で有効になるため、新しいコネクタ ユーザーは何も行う必要ありません。 詳細情報 | |
| 継続的インテグレーションと継続的デリバリー (CI/CD) | テナント間 Azure DevOps サポート | Azure DevOps Git を使用して、Azure Data Factory と同じテナント内にはないリポジトリを構成します。 詳細情報 |
| リージョンの拡大 | 米国西部 3 と JIO インド西部で Data Factory を使用できるようになった | 次の 2 つの新しいリージョンで、Data Factory を使用できるようになりました: 米国西部 3、JIO インド西部。 最新のデータ ウェアハウスを格納および管理するためにこれらのリージョンを使用している場合は、これらの新しいリージョンに ETL ワークフローを併置できます。 また、geo 内の別のリージョンからフェールオーバーする必要がある場合、事業継続とディザスター リカバリーの目的にこれらのリージョンを使うこともできます。 詳細情報 |
| Security | 別の Entra ID テナントの Azure DevOps アカウントに接続する | ソース管理のために、Data Factory インスタンスを別の Azure AD テナントの Azure DevOps アカウントに接続できます。 詳細情報 |
2022 年 1 月
| サービス カテゴリ | 詳細 | |
| データ フロー | Time to Live (TTL) を使用するすべての Azure IR でクイック再使用が自動的に行われるようになりました | "クイック再使用" を手動で指定する必要がなくなりました。 Data Factory マッピング データ フローでは、TTL を設定した後、5 秒以内に後続のデータ フロー アクティビティを開始できるようになりました。 詳細情報 |
| カスタム アサーションの説明を取得する | アサ―ト変換では、独自の動的説明メッセージを定義できます。 新しい関数 assertErrorMessage() を使用すると、行ごとのメッセージを取得して宛先データに保存できます。 詳細情報 | |
| 解析変換での自動スキーマ検出 | 文字列列内の埋め込み複合フィールドのスキーマを簡単に自動検出するために、解析変換に新しい機能が追加されました。 [スキーマの検出] ボタンを選択すると、ターゲット スキーマを自動的に設定できます。 詳細情報 | |
| Dynamics 365 コネクタをシンクとソースの両方でサポートする | Dynamics 365 に直接接続し、Dynamics 365 の新しいマッピング データ フロー コネクタを使用して Dynamics データを大規模に変換できるようになりました。 詳細情報 | |
| Always Encrypted SQL 接続をデータ フローで使用できるようになりました | Always Encrypted で、データ フローの使用時に、SQL Server、SQL Database、SQL Managed Instance、および Azure Synapse のソース変換を行うことができます。 詳細情報 | |
| データの移動 | Data Factory Azure Databricks Delta Lake コネクタは、新しい認証の種類をサポートしています | Data Factory Databricks Delta Lake コネクタは、システム割り当てマネージド ID 認証とユーザー割り当てマネージド ID 認証という 2 種類の認証をサポートするようになりました。 詳細情報 |
| Data Factory のコピー アクティビティでは、いくつかの追加コネクタでのアップサートがサポートされます | Data Factory のコピー アクティビティでアップサートがサポートされるようになりました。データを SQL Server、SQL Database、SQL Managed Instance、Azure Synapse にシンクします。 詳細情報 |
2021 年 12 月
| サービス カテゴリ | 詳細 | |
| データ フロー | マッピング データ フローのネイティブ ソースおよびシンクとしての Dynamics コネクタ | Dynamics コネクタは、マッピング データ フローのソースおよびシンクとしてサポートされるようになりました。 詳細情報 |
| ネイティブ変更データ キャプチャ (CDC) をネイティブでサポート | CDC は、Azure Cosmos DB、Blob Storage、Data Lake Storage Gen1、Data Lake Storage Gen2、CDM に対して、Data Factory でネイティブにサポートされるようになりました。 詳細情報 | |
| Flowlets パブリック プレビュー | flowlets パブリック プレビューを使用すると、データ フロー開発者は再利用可能なコンポーネントを構築して、コンポザブルなデータ変換ロジックを簡単に構築できます。 詳細情報 | |
| マップ データ パブリック プレビュー | マップ データ プレビューを使用すると、ビジネス ユーザーは Azure Synapse Lake データベースを読み込むための列マッピングと変換を定義できます。 詳細情報 | |
| Power Query からの複数の出力先 | 市民データ インテグレーターの柔軟な ETL パターンに対して、Data Factory で Power Query からの複数の出力先をマップできるようになりました。 詳細情報 | |
| 外部呼び出し変換のサポート | 外部呼び出し変換を使用して、マッピング データ フローの機能を拡張します。 独自のカスタム コードを REST エンドポイントとして追加したり、行ごとにキュレート済みのサード パーティ サービスを呼び出したりできます。 詳細情報 | |
| TTL をサポートして Azure Synapse マッピング データ フローによるクイック再利用を有効にする | Azure Synapse マッピング データ フローでは、Azure IR に TTL を設定することで、クイック再利用をサポートするようになりました。 設定を使用することで、後続のデータ フロー アクティビティを 5 秒以内で実行できます。 詳細情報 | |
| アサート変換 | マッピング データ フローでアサート変換を使用して、Data Factory パイプラインにデータ品質、データ ドメイン検証、およびメタデータ チェックを簡単に追加します。 詳細情報 | |
| 式ビルダーでの IntelliSense サポートによってパイプライン作成エクスペリエンスの生産性が向上する | 式ビルダーまたは動的コンテンツ作成で IntelliSense がサポートされ、データ パイプラインに複雑な式を記述する場合の Data Factory および Azure Synapse パイプライン開発者の生産性を向上させることができます。 詳細情報 |
2021 年 11 月
| サービス カテゴリ | 詳細 | |
| 継続的インテグレーションと継続的デリバリー (CI/CD) | GitHub 統合の機能強化 | Data Factory と GitHub の統合の機能強化により、リソースの種類 (データセット、パイプラインなど) ごとに 1,000 の Data Factory リソースという制限がなくなりました。 大規模なデータ ファクトリでは、この変更によって GitHub API レート制限の影響を軽減できます。 詳細情報 |
| データ フロー | 失敗アクティビティを使用して、カスタム エラー コードとエラー メッセージを設定する | 失敗アクティビティを使用すると、ETL 開発者は、Data Factory パイプラインにエラー メッセージとカスタム エラー コードを設定できます。 詳細情報 |
| 外部呼び出し変換 | マッピング データ フローの外部呼び出し変換を使用すると、ETL 開発者は変換を使用できるとともに、REST エンドポイントまたはサードパーティ API サービスによって提供されるデータ エンリッチメントを利用できます。 詳細情報 | |
| Synapse のクイック再利用 | Synapse Analytics でデータ フローを実行するときは、TTL 機能を使用します。 TTL 機能では、クイック再利用機能を使用して、シーケンシャル データ フローが数秒以内に実行されます。 Azure IR を構成するときに TTL を設定できます。 詳細情報 | |
| データの移動 | コピー アクティビティでは、チャンキングなしで FTP または SFTP からデータを読み取る機能がサポートされる | FTP サーバーまたは SFTP サーバーからデータをコピーするときに読み取るファイル長または関連するオフセットを自動的に決定します。 この機能を使用すると、Data Factory が FTP または SFTP サーバーに自動的に接続され、ファイルの長さが決定されます。 長さが決定されたら、Data Factory によってファイルが複数のチャンクに分割され、並列で読み取られます。 詳細情報 |
| コピー アクティビティでの "BOM なしの UTF-8" のサポート | コピー アクティビティでは、JSON および区切りテキスト データセット用の "BOM なしの UTF-8" というエンコードの種類でデータを記述できるようになりました。 | |
| 複数文字の列区切り記号のサポート | コピー アクティビティでは、複数文字の列区切り記号 (区切りテキスト データセット用) を使用できます。 | |
| Integration Runtime | 3 つの手順により、Data Factory 内で SQL Server Integration Services (SSIS) と共に任意のプロセスを任意の場所で実行する | パイプラインで Data Factory と SSIS の機能を最適に使用する方法について説明します。 パラメーター化されたプロパティを含むサンプル SSIS パッケージを使用すると、すぐに開始できます。 Data Factory Studio を使用すると、SSIS パッケージをパイプラインまで簡単にドラッグ アンド ドロップし、SSIS パッケージの実行アクティビティの一部として使用できます。 この機能により、セルフホステッド IR または SSIS IR で SSIS パッケージを使用して Data Factory パイプラインを実行できます。 実行時パラメーター値を指定することで、Data Factory の強力な機能と SSIS の機能を共に使用できます。 この記事では、任意の場所で任意のプロセス (アプリケーション、プログラム、ユーティリティ、バッチ ファイルなど、任意の実行可能ファイル) を実行するための 3 つの手順について説明します。 詳細情報 |
2021 年 10 月
| サービス カテゴリ | 詳細 | |
| データ フロー | Azure Data Explorer と アマゾン ウェブ サービス (AWS) S3 コネクタ | Microsoft データ統合チームは、マッピング データ フロー用の新しいコネクタを 2 つリリースしました。 Azure Synapse を使用しているユーザーは、データ変換のために AWS S3 バケットに直接接続できるようになりました。 Data Factory と Azure Synapse の両方とも、マッピング データ フローで Azure Data Explorer クラスターにネイティブに接続できるようになりました。 詳細情報 |
| Power Query アクティビティがプレビューから GA に | Data Factory Power Query パイプライン アクティビティが一般提供になりました。 この新機能によって、市民インテグレーター用にスケールアウトされたデータ準備とデータ ラングリングが Data Factory ブラウザー UI 内で利用可能となり、データ エンジニアに統合されたエクスペリエンスがもたらされます。 Data Factory Power Query のデータ ラングリング機能では、非常に複雑なデータ統合と ETL パターンを 1 つのサービスで解決することを可能にする、強力で使いやすいパイプライン機能が提供されます。 詳細情報 | |
| マッピング データ フローでの新しい文字列化によるデータ変換 | マッピング データ フローに文字列化 (Stringify) という新しいデータ変換が追加され、構造体や配列などの複雑なデータ型を文字列形式に簡単に変換できるようになりました。 これらのデータ型は、構造化された出力先に送信できます。 詳細情報 | |
| Integration Runtime | SSIS IR の高速仮想ネットワーク インジェクション (パブリック プレビュー) | SSIS IR で、高速仮想ネットワーク インジェクションがサポートされるようになりました。 詳細情報: SSIS IR の仮想ネットワークインジェクションの概要 SSIS IR の標準および高速仮想ネットワーク インジェクション SSIS IR の高速仮想ネットワーク インジェクション |
| Security | Azure Key Vault 統合の改善 | Key Vault 統合にドロップダウンが追加され、ユーザーはリンクされたサービスのシークレット値を選択できるようになりました。 人為的エラーが発生する可能性があるユーザーによるシークレット入力が必要ないため、この機能により生産性が向上します。 |
| Data Factory でのユーザー割り当てマネージド ID のサポート | 資格情報の安全性は、あらゆる企業で重要です。 Data Factory チームは、データ エンジニアリング プロセスを安全にしつつ、データ エンジニアにとって簡単なものになるよう取り組んでいます。 Azure AD ベースの認証をサポートしているすべてのコネクタとリンクされたサービスで、ユーザー割り当てマネージド ID (プレビュー) がサポートされます。 詳細情報 |
2021 年 9 月
| サービス カテゴリ | 詳細 | |
| 継続的インテグレーションと継続的デリバリー | 拡張された CI/CD 機能 | Data Factory の他のブランチをベースに、新しい Git ブランチを作成できるようになりました。 詳細情報 |
| データの移動 | Oracle ソース用 Amazon Relational Database Service (RDS) | Oracle ソース コネクタ用 Amazon RDS は、Data Factory と Azure Synapse の両方で使用できるようになりました。 |
| SQL Server ソース用 Amazon RDS | SQL Server ソース コネクタ用 Amazon RDS は、Data Factory と Azure Synapse の両方で使用できるようになりました。 | |
| Azure Database for PostgreSQL からの並列コピーをサポート | Azure Database for PostgreSQL コネクタは、並列コピー操作をサポートするようになりました。 | |
| データ フロー | Data Lake Storage Gen2 を使用して事前および事後処理コマンドを実行する | Hadoop 分散ファイル システムの事前および事後処理コマンドを、データフローの Data Lake Storage Gen2 シンクを使用して実行できるようになりました。 詳細情報 |
| Azure IR の既存インスタンスのデータ フロー プロパティを編集する | Azure IR が更新され、既存の IR のデータ フロー プロパティの編集が可能になりました。 新しい Azure IR を作成することなく、データ フローのコンピューティング プロパティを変更できるようになりました。 | |
| パイプライン アクティビティの実行開始時間を向上するための Azure Synapse の TTL 設定 | Azure Synapse によって、Azure IR に TTL が追加され、データ フロー パイプラインのアクティビティを数秒で実行開始できるようにして、データ フロー パイプラインの実行時間を大幅に短縮しました。 詳細情報 | |
| Integration Runtime | Data Factory のマネージド仮想ネットワークが GA に | マネージド仮想ネットワークの一部として Azure IR をプロビジョニングし、プライベート エンドポイントを利用して、サポートされるデータ ストアに安全に接続できるようになりました。 データ トラフィックは、データ ソースへのセキュリティで保護された接続を提供する Azure Private Link を経由します。 パブリック インターネットへのデータ流出を防ぐこともできます。 詳細情報 |
| データ パイプライン用 SLA の運用化と提供 | この新しい経過時間パイプライン実行メトリックと Data Factory アラートと組み合わせることで、データ パイプライン開発者はより適切に SLA をお客様に提供することができます。 パイプラインの予想実行時間を Microsoft に知らせておくと、パイプラインの実行時間が予想より長いときに Microsoft から事前に通知されるようになります。 詳細情報 | |
| Fail アクティビティ (パブリック プレビュー) | 新しい Fail アクティビティを使用すると、何らかの理由で意図的にパイプラインにエラーをスローできます。 たとえば、ルックアップ アクティビティが一致するデータを返さない場合や、カスタム アクティビティが内部エラーで終了する場合は、Fail アクティビティを使用できます。 詳細情報 |
2021 年 8 月
| サービス カテゴリ | 詳細 | |
| 継続的インテグレーションと継続的デリバリー | Azure Government と 21Vianet によって運営される Microsoft Azure での GitHub サポートによる CI/CD の向上 | 米国政府向け Azure および 21Vianet によって運営される Azure で GitHub のサポートが追加されました。 詳細情報 |
| データの移動 | Data Factory において、Azure Cosmos DB MongoDB 用 API コネクタでバージョン 3.6 と 4.0 がサポートされます | Data Factory Azure Cosmos DB MongoDB 用 API コネクタで、サーバー バージョン 3.6 と 4.0 がサポートされるようになりました。 詳細情報 |
| COPY ステートメントを使用した Azure Synapse へのデータ読み込みの強化 | Data Factory Azure Synapse コネクタでは、COPY ステートメントに wildcardFilename として *.* を使用して、ステージされたコピーとコピー ソースがサポートされるようになりました。 詳細情報 | |
| データ フロー | データ フローで REST エンドポイントをソースおよびシンクとして利用できます | Data Factory と Azure Synapse のデータ フローで、JSON と XML の両方のペイロードが完全にサポートされるソースおよびシンクとして REST エンドポイントがサポートされるようになりました。 詳細情報 |
| Integration Runtime | セルフホステッド IR の診断ツールが利用可能になりました | セルフホステッド IR 用の診断ツールは、ユーザー エクスペリエンスを向上させ、ユーザーによる潜在的な問題の検出を支援するように設計されています。 このツールは、セルフホステッド IR マシンで一連のテスト シナリオを実行します。 各シナリオには、一般的な問題に対する典型的な正常性チェックのケースがあります。 詳細情報 |
| 高度なフィルター処理オプションを含むカスタム イベント トリガーが一般提供されました | Azure Event Grid にポストされたカスタム トピックに応答するトリガーを作成できるようになりました。 高度なフィルター処理を使用して、応答するイベントを細かく制御することもできます。 詳細情報 |
2021 年 7 月
| サービス カテゴリ | 詳細 | |
| データの移動 | 10 分以内に Data Factory データ コピー ツールでメタデータ駆動型データ インジェスト パイプラインを取得する (パブリック プレビュー) | これで、10 分以内に、コピー データ ツール (パブリック プレビュー) でメタデータ駆動型アプローチを使用して大規模なデータ コピー パイプラインを構築できるようになりました。 詳細情報 |
| データ フロー | データ フロー変換関数に新しいマップ関数が追加されました | データ フロー変換関数の新しいセットを使用すると、データ エンジニアがマップのデータ型と複雑なマップ構造を簡単に生成、読み取り、および更新できます。 詳細情報 |
| Integration Runtime | Data Factory のマネージド仮想ネットワークで 5 つの新しいリージョンが利用可能になりました (パブリック プレビュー) | 5 つの新しいリージョン (中国東部 2、中国北部 2、米国政府アリゾナ、米国政府テキサス、米国政府バージニア) は、Data Factory のマネージド仮想ネットワークで利用できます (パブリック プレビュー)。 |
| 開発者の生産性 | Data Factory のホーム ページの機能強化 | Data Factory のホームページが再設計されて、コントラストとリフロー機能が改善されました。 データ統合体験で生産性を向上させるためのいくつかのセクションがホーム ページに追加されました。 詳細情報 |
| Data Factory Studio の新しいランディング ページ | Azure portal の Data Factory ペインのランディング ページ。 詳細情報 |
2021 年 6 月
| サービス カテゴリ | 詳細 | |
| データの移動 | Data Factory データ コピー ツールを使用した新しいユーザー エクスペリエンス | 再設計されたデータ コピー ツールが利用可能になり、データ インジェストの操作性が向上しました。 詳細情報 |
| MongoDB と MongoDB Atlas が、ソースとシンクの両方としてサポートされます | この機能強化により、サポートされている任意のデータ ストアと MongoDB または MongoDB Atlas データベース間でのデータのコピーがサポートされます。 詳細情報 | |
| Always Encrypted が、ソースとシンクの両方として SQL Database、SQL Managed Instance、および SQL Server コネクタでサポートされます | Always Encrypted は、Data Factory for SQL Database、SQL Managed Instance、およびコピー アクティビティ用の SQL Server コネクタで使用できます。 詳細情報 | |
| Data Lake Storage Gen2 または Blob Storage へのシンク時に、コピー アクティビティでカスタム メタデータの設定がサポートされます | Data Lake Storage Gen2 または Blob Storage に書き込むときに、コピー アクティビティで、カスタム メタデータの設定、またはソース ファイルの最後に変更された情報をメタデータとして保存することがサポートされています。 詳細情報 | |
| データ フロー | SQL Server がデータ フロー内のソースおよびシンクとしてサポートされるようになりました | SQL Server がデータ フロー内のソースおよびシンクとしてサポートされるようになりました。 Azure IR マネージド仮想ネットワーク機能を使用してネットワークを構成し、SQL Server のオンプレミスとクラウドの VM ベースのインスタンスと通信する方法の説明については、このリンクをたどってください。 詳細情報 |
| データフロー クラスターのクイック再利用が、すべての新しい Azure IR で既定で有効になりました | Data Factory で人気のデータ フロー クイック スタートアップ再利用機能が一般提供されます。 すべての新しい Azure IR で、クイック再利用が既定で有効になります。 詳細情報 | |
| Power Query (パブリック プレビュー) アクティビティ | Data Factory データ ラングリングを使用して、Power Query シンクに複雑なフィールド マッピングを構築できるようになりました。 シンクは、この更新プログラムに対応するために Power Query (パブリック プレビュー) アクティビティのパイプラインで構成されるようになりました。 詳細情報 | |
| Data Factory の更新されたデータ フローの監視 UI | Data Factory には、データ フロー ETL ジョブの実行状況を簡単に確認し、パフォーマンス チューニングの領域をすばやく特定できるようにするための監視 UI 用の新しい更新プログラムがあります。 詳細情報 | |
| SQL Server Integration Services | Data Factory の SSIS を使用して、3 つの簡単な手順で任意の場所で任意の SQL ステートメントまたはスクリプトを実行する | この投稿では、Data Factory の SSIS を使用して、任意の場所で任意の SQL ステートメントまたはスクリプトを実行するための 3 つの手順について説明します。
|
説明を見る
- Azure Data Factory の新機能 - 当月
[ ブログ - Azure Data Factory](https://techcommunity.microsoft.com/t5/azure-data-factory/bg-p/AzureDataFactoryBlog) - Stack Overflow フォーラム
- X
- ビデオ