OneLake からデータを取得する
この記事では、OneLake から新規または既存のテーブルのいずれかにデータを取得する方法について説明します。
前提条件
- Microsoft Fabric 対応の容量を持つワークスペース
- レイクハウス
- 編集アクセス許可を持つ KQL データベース
Lakehouse からファイル パスをコピーする
エクスペリエンス スイッチャーで、[Data Engineering] を選択します。
使用するデータ ソースを含むレイクハウス環境を選択します。
目的のファイルの上にカーソルを置き、[その他] メニューを選択し、[プロパティ] を選択します。
重要
- フォルダー パスはサポートされていません。
- ワイルドカード (*) はサポートされていません。
[URL] で、[クリップボードにコピー] アイコンを選択し、後の手順で取得する場所に保存します。
ワークスペースに戻り、KQL データベースを選択します。
ソース
KQL データベースの下部のリボンで、[データの取得] を選択します。
[データの取り込み] ウィンドウで [ソース] タブが選択されます。
使用可能な一覧からデータ ソースを選択します。 この例では OneLake からデータを取り込みます。
構成
ターゲット テーブルを選択します。 新しいテーブルにデータを取り込む場合は、[+新しいテーブル] を選択し、テーブル名を入力します。
Note
テーブル名には、スペース、英数字、ハイフン、アンダースコアを含め、最大 1024 文字を使用できます。 特殊文字はサポートされていません。
[ソースへのリンク] に、「Lakehouse からファイル パスをコピーする」でコピーした Lakehouse のファイル パスを貼り付けます。
Note
1 つのサイズが最大 1 GB の圧縮されていない項目を 10 個まで追加できます。
[次へ] を選択します。
検査
[検査] タブが開き、データのプレビューが表示されます。
インジェスト プロセスを完了するには、[完了] を選択します。
必要に応じて、次の操作を行います。
- [コマンド ビューアー] を選択し、入力から生成される自動コマンドを表示してコピーします。
- [スキーマ定義ファイル] ドロップダウンを使用して、スキーマを推論する元のファイルを変更します。
- ドロップダウンから必要な形式を選択して、自動的に推論されるデータの形式を変更します。 詳細については、「リアルタイム分析でサポートされているデータ形式」を参照してください。
- 列を編集します。
- データ型に基づく [詳細] オプションを確認します。
列の編集
Note
- 表形式 (CSV、TSV、PSV) では、列を 2 回マップすることはできません。 既存の列にマップするには、最初に新しい列を削除します。
- 既存の列の型を変更することはできません。 異なる形式の列にマップしようとすると、空の列になってしまう場合があります。
テーブルに加えることができる変更は、次のパラメーターによって異なります。
- テーブルの種類が新規かまたは既存か
- マッピングの種類が新規かまたは既存か
テーブルの種類です。 | マッピングの種類 | 使用可能な調整 |
---|---|---|
新しいテーブル | 新しいマッピング | 列の名前変更、データ型の変更、データ ソースの変更、マッピング変換、列の追加、列の削除 |
既存のテーブル | 新しいマッピング | 新しい列の追加 (その後、データ型の変更、名前変更、更新が可能) |
既存のテーブル | 既存のマッピング | なし |
マッピング変換
一部のデータ形式マッピング (Parquet、JSON、Avro) では、簡単な取り込み時の変換がサポートされています。 マッピング変換を適用するには、[列の編集] ウィンドウで列を作成または更新します。
マッピング変換は、データ型が int または long であるソースを使用して、string または datetime 型の列に対して実行できます。 サポートされているマッピング変換は次のとおりです。
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
データ型に基づく [詳細] オプション
表形式 (CSV、TSV、PSV):
表形式を "既存のテーブル" に取り込もうとしている場合は、[詳細]>[テーブル スキーマを保持する] を選択できます。 表形式データには、ソース データを既存の列にマップするために使用される列名が必ずしも含まれるとは限りません。 このオプションをオンにすると、マッピングは順番に行われ、テーブル スキーマは同じままになります。 このオプションをオフにすると、データ構造に関係なく、受信するデータに対して新しい列が作成されます。
最初の行を列名として使用するには、[詳細]>[最初の行を列ヘッダーにする] を選択します。
JSON:
JSON データの列分割を指定するには、[詳細]>[入れ子のレベル] を 1 から 100 までで選択します。
[詳細]>[エラーのある JSON 行をスキップする] を選択すると、データは JSON 形式で取り込まれます。 このチェック ボックスをオフのままにすると、データは multijson 形式で取り込まれます。
まとめ
[データ準備] ウィンドウでは、データ インジェストが正常に終了した場合、3 つのステップすべてに緑色のチェックマークが表示されます。 カードを選択してクエリを実行すること、取り込まれたデータを削除すること、インジェストの概要のダッシュボードを表示することができます。