Ускорение подготовки данных с помощью Data Wrangler в Microsoft Fabric

Средство Data Wrangler — это ресурс на основе записных книжек, который предоставляет иммерсивный интерфейс для анализа аналитических данных. Он объединяет отображение данных, например сетки, с динамической сводной статистикой, встроенными визуализациями и библиотекой общих операций очистки данных. Каждую операцию можно применить с помощью нескольких шагов. Вы можете обновить отображение данных в режиме реального времени и создать код в pandas или PySpark, который можно сохранить обратно в записную книжку в качестве повторной функции. В этой статье рассматривается изучение и преобразование пандовых кадров данных. Дополнительные сведения об использовании Data Wrangler в Кадрах данных Spark см . в этом ресурсе.

Необходимые компоненты

• Получение подписки Microsoft Fabric. Или зарегистрируйте бесплатную пробную версию Microsoft Fabric.

• Войдите в Microsoft Fabric.

• Используйте переключатель интерфейса в левой части домашней страницы, чтобы перейти на интерфейс Synapse Обработка и анализ данных.

  

Ограничения

• Пользовательские операции кода в настоящее время поддерживаются только для pandas DataFrames.
• Отображение Wrangler данных лучше всего работает на больших мониторах, хотя можно свести к минимуму или скрыть различные части интерфейса, чтобы разместить небольшие экраны.

Запуск Wrangler данных

Вы можете запустить Data Wrangler непосредственно из записной книжки Microsoft Fabric для изучения и преобразования любых pandas или Spark DataFrame. Дополнительные сведения об использовании Data Wrangler с Кадрами данных Spark см . в этой статье. В этом фрагменте кода показано, как считывать примеры данных в кадр данных pandas:

import pandas as pd

# Read a CSV into a Pandas DataFrame
df = pd.read_csv("https://raw.githubusercontent.com/plotly/datasets/master/titanic.csv")
display(df)

На вкладке "Главная" на ленте записной книжки используйте раскрывающийся список Data Wrangler, чтобы просмотреть активные кадры данных, доступные для редактирования. Выберите нужный объект в Data Wrangler.

Совет

Не удается открыть Wrangler, пока ядро записной книжки занято. Выполнение ячейки должно завершиться до запуска Wrangler данных, как показано на снимке экрана:

Выбор пользовательских примеров

Чтобы открыть пользовательский образец любого активного кадра данных с помощью Wrangler, выберите "Выбрать пользовательский пример" в раскрывающемся списке, как показано на снимке экрана:

Это запускает всплывающее окно с параметрами, чтобы указать размер требуемого образца (количество строк) и метод выборки (первые записи, последние записи или случайный набор). Первые 5000 строк кадра данных служат размером выборки по умолчанию, как показано на снимке экрана:

Просмотр сводной статистики

При загрузке Data Wrangler отображается описательный обзор выбранного кадра данных на панели "Сводка". В этом обзоре содержатся сведения о измерениях кадра данных, отсутствующих значениях и т. д. Выбор любого столбца в сетке Data Wrangler предложит панели "Сводка" обновить и отобразить описательную статистику о конкретном столбце. Краткие сведения о каждом столбце также доступны в заголовке.

Совет

Статистика и визуальные элементы для столбцов (как на панели "Сводка", так и в заголовках столбцов) зависят от типа данных столбца. Например, в заголовке столбца отображается бинированная гистограмма числового столбца, только если столбец приведение в виде числового типа, как показано на снимке экрана:

Просмотр операций очистки данных

Список действий по очистке данных можно найти на панели "Операции". На панели "Операции" выбор шага очистки данных запрашивает указать целевой столбец или столбцы, а также все необходимые параметры для выполнения шага. Например, запрос на числовое масштабирование столбца требует нового диапазона значений, как показано на снимке экрана:

Совет

Вы можете применить меньший выбор операций из меню каждого заголовка столбца, как показано на снимке экрана:

Предварительный просмотр и применение операций

Сетка отображения данных Wrangler автоматически просматривает результаты выбранной операции, а соответствующий код автоматически отображается на панели под сеткой. Чтобы зафиксировать предварительный просмотр кода, выберите "Применить" в любом месте. Чтобы удалить предварительный просмотр кода и попробовать новую операцию, нажмите кнопку "Отменить", как показано на снимке экрана:

После применения операции сетка отображения данных Wrangler и обновление сводной статистики для отражения результатов. Код отображается в запущенном списке зафиксированных операций, расположенных на панели "Очистка шагов", как показано на этом снимке экрана:

Совет

Вы всегда можете отменить последний примененный шаг. На панели "Очистка шагов" появится значок корзины, если наведите указатель мыши на последний примененный шаг, как показано на этом снимке экрана:

В этой таблице перечислены операции, поддерживаемые Wrangler data:

Операция	Description
Сортировать	Сортировка столбца по возрастанию или убыванию
Фильтр	Фильтрация строк на основе одного или нескольких условий
Одно горячее кодирование	Создание новых столбцов для каждого уникального значения в существующем столбце, указывающее на наличие или отсутствие этих значений на строку
Одно горячее кодирование с разделителем	Разделение и одно горячее кодирование категориальных данных с помощью разделителя
Изменение типа столбца	Изменение типа данных столбца
Удаление столбца	Удаление одного или нескольких столбцов
Выбор столбца	Выберите один или несколько столбцов, чтобы сохранить и удалить остальные
Переименование столбца	Переименование столбца
Удаление отсутствующих значений	Удаление строк с отсутствующими значениями
Удаление повторяющихся строк	Удаление всех строк с повторяющимися значениями в одном или нескольких столбцах
Заполнение отсутствующих значений	Замените ячейки отсутствующими значениями новым значением
Поиск и замена	Замените ячейки точным шаблоном сопоставления
Группировка по столбцам и статистическим выражениям	Группировать по значениям столбцов и агрегированным результатам
Пробелы в полосе	Удаление пробелов из начала и конца текста
Разделение текста	Разделение столбца на несколько столбцов на основе определяемого пользователем разделителя
Преобразование текста в строчные буквы	Преобразование текста в строчные буквы
Преобразование текста в верхний регистр	Преобразование текста в ВЕРХНИЙ РЕГИСТР
Минимальное или максимальное масштабирование значений	Масштабирование числового столбца между минимальным и максимальным значением
Заливка флэш-памяти	Автоматическое создание нового столбца на основе примеров, производных от существующего столбца

Изменение дисплея

В любое время вы можете настроить интерфейс с помощью вкладки "Представления" на панели инструментов, расположенной над сеткой отображения Data Wrangler. Это может скрыть или отобразить различные панели на основе ваших настроек и размера экрана, как показано на этом снимке экрана:

Сохранение и экспорт кода

Панель инструментов над сеткой отображения данных Wrangler предоставляет параметры для сохранения созданного кода. Вы можете скопировать код в буфер обмена или экспортировать его в записную книжку в виде функции. Экспорт кода закрывает Data Wrangler и добавляет новую функцию в ячейку кода в записной книжке. Вы также можете скачать очищенный кадр данных в виде CSV-файла.

Совет

Wrangler создает код, который применяется только при ручном запуске новой ячейки, и он не перезаписывает исходный кадр данных, как показано на этом снимке экрана:

Затем можно запустить экспортируемый код, как показано на снимке экрана:

Связанный контент

• Чтобы попробовать Data Wrangler в Кадрах данных Spark, ознакомьтесь со следующей статьей
• Для демонстрации live-action data Wrangler в Fabric, ознакомьтесь с этим видео из наших друзей на Гай в кубе
• Чтобы попробовать Data Wrangler в Visual Studio Code, перейдите к Data Wrangler в VS Code
• Упустили ли у вас функцию? Поделитесь с нами. Предложить его на форуме "Идеи структуры"