Microsoft Fabric で Pandas を使用してデータを読み書きする方法

Microsoft Fabric ノートブックは、データの探索と処理に最も人気のある Python ライブラリである Pandas を使用したレイクハウス データのシームレスな操作をサポートします。 ノートブックでは、レイクハウスからのデータの読み取りとレイクハウスへのデータの書き戻しをすばやく、さまざまなファイル形式で実行できます。 このガイドでは、ユーザー自身のノートブックの使用を開始するのに役立つコード サンプルを提供します。

前提条件

• Microsoft Fabric サブスクリプションを取得します。 または、無料の Microsoft Fabric 試用版にサインアップします。

• Microsoft Fabric にサインインします。

• ホーム ページの左側にある環境スイッチャーを使って、Synapse Data Science 環境に切り替えます。

  

レイクハウス データをノートブックに読み込む

Microsoft Fabric ノートブックにレイクハウスをアタッチすると、表示中のページを離れることなく保存されたデータを探索でき、それを簡単な手順でノートブックに読み込めます。 レイクハウスのファイルを選択すると、Spark または Pandas の DataFrame に "データを読み込む" オプションが表示されます。 そのファイルの完全な ABFS パスまたは記述の短い相対パスをコピーすることもできます。

"データを読み込む" プロンプトのいずれか 1 つを選択すると、そのファイルをノートブックの DataFrame に読み込むためのコード セルが生成されます。

Spark DataFrame を Pandas DataFrame に変換する

参考までに、以下のコマンドを使用すれば、Spark DataFrame を Pandas DataFrame に変換できます。

# Replace "spark_df" with the name of your own Spark DataFrame
pandas_df = spark_df.toPandas() 

さまざまなファイル形式の読み取りと書き込み

以下のコード サンプルを使用すれば、Pandas でさまざまなファイル形式の読み取りと書き込みができます。

Note

コード サンプルのファイル パスは置き換える必要があります。 Pandas では、次に示すように相対パスと完全な ABFS パスの両方がサポートされています。 どちらのパスも、前の手順に従ってインターフェイスから取得およびコピーできます。

CSV ファイルからデータを読み取る

import pandas as pd

# Read a CSV file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pd.read_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv")
display(df)

CSV ファイルとしてデータを書き込む

import pandas as pd 

# Write a Pandas DataFrame into a CSV file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv") 

Parquet ファイルからデータを読み取る

import pandas as pd 
 
# Read a Parquet file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 
display(df)

データを Parquet ファイルに書き込む

import pandas as pd 
 
# Write a Pandas DataFrame into a Parquet file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 

Excel ファイルからデータを読み取る

import pandas as pd 
 
# Read an Excel file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 
display(df) 

Excel ファイルとしてデータを書き込む

import pandas as pd 

# Write a Pandas DataFrame into an Excel file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 

JSON ファイルからデータを読み取る

import pandas as pd 
 
# Read a JSON file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 
display(df) 

JSON ファイルとしてデータを書き込む

import pandas as pd 
 
# Write a Pandas DataFrame into a JSON file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 

関連するコンテンツ

• Data Wrangler を使用してデータをクリーンして準備する
• ML モデルのトレーニングを開始する