Como ler e gravar dados com o Pandas no Microsoft Fabric

Os notebooks do Microsoft Fabric dão suporte à interação perfeita com os dados do Lakehouse usando o Pandas, a biblioteca Python mais popular para exploração e processamento de dados. Em um notebook, é possível ler rapidamente os dados e gravá-los de volta em recursos de Lakehouse em vários formatos de arquivo. Este guia fornece exemplos de código para ajudá-lo a começar a usar seu próprio notebook.

Pré-requisitos

• Obtenha uma assinatura do Microsoft Fabric. Ou, inscreva-se para uma avaliação gratuita do Microsoft Fabric.

• Entre no Microsoft Fabric.

• Use o alternador de experiência no lado inferior esquerdo da página inicial para alternar para o Fabric.

  

Carregar dados do Lakehouse em um notebook

Depois de anexar um Lakehouse ao bloco de anotações do Microsoft Fabric, você poderá explorar os dados armazenados sem sair da página e lê-los em seu bloco de anotações, tudo em poucas etapas. A seleção de qualquer arquivo de Lakehouse apresenta opções para "Carregar dados" em um DataFrame do Spark ou pandas. Também é possível copiar o caminho completo do ABFS do arquivo ou um caminho relativo amigável.

A seleção de um dos prompts "Carregar dados" gerará uma célula de código para carregar esse arquivo em um DataFrame em seu notebook.

Como converter um DataFrame do Spark em um DataFrame do Pandas

Para referência, este comando mostra como converter um DataFrame do Spark em um DataFrame pandas:

# Replace "spark_df" with the name of your own Spark DataFrame
pandas_df = spark_df.toPandas() 

Leitura e gravação de vários formatos de arquivo

Observação

Modificar a versão de um pacote específico pode potencialmente interromper outros pacotes que dependem dele. Por exemplo, o downgrade azure-storage-blob pode causar problemas com Pandas e várias outras bibliotecas que dependem de Pandas, incluindo mssparkutils, fsspec_wrapper e notebookutils. Você poderá exibir a lista de pacotes pré-instalados e suas versões para cada runtime aqui.

Esses exemplos de código descrevem as operações do Pandas para ler e gravar vários formatos de arquivo.

Observação

É necessário substituir os caminhos de arquivo nesses exemplos de código. O Pandas é compatível com caminhos relativos, conforme mostrado aqui, e a caminhos completos do ABFS. Qualquer tipo de caminho pode ser recuperado e copiado da interface de acordo com a etapa anterior.

Ler dados de um arquivo CSV

import pandas as pd

# Read a CSV file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pd.read_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv")
display(df)

Gravar dados como um arquivo CSV

import pandas as pd 

# Write a Pandas DataFrame into a CSV file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv") 

Explorar dados de um arquivo Parquet

import pandas as pd 
 
# Read a Parquet file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pd.read_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 
display(df)

Gravar dados em um arquivo Parquet

import pandas as pd 
 
# Write a Pandas DataFrame into a Parquet file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 

Ler dados de um arquivo do Excel

import pandas as pd 
 
# Read an Excel file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values. Also need to add correct filepath after Files/ if file is placed in different folders
# if using default lakehouse that attached to the notebook use the code to replace below: df = pandas.read_excel("/lakehouse/default/Files/FILENAME.xlsx") 
df = pandas.read_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 
display(df) 

Gravar dados como um arquivo do Excel

import pandas as pd 

# Write a Pandas DataFrame into an Excel file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 

Escolha dados de um arquivo JSON

import pandas as pd 
 
# Read a JSON file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 
display(df) 

Gravar dados como um arquivo JSON

import pandas as pd 
 
# Write a Pandas DataFrame into a JSON file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 

Conteúdo relacionado

• Usar o Data Wrangler para limpar e preparar seus dados
• Iniciar o treinamento de modelos de ML