Поделиться через

Сценарий ценообразования с помощью потока данных 2-го поколения для загрузки локальных данных CSV в таблицу Lakehouse

  • Статья

В этом сценарии поток данных 2-го поколения использовался для загрузки 2 ГБ локальных CSV-данных в таблицу Lakehouse в Microsoft Fabric.

Цены, используемые в следующем примере, являются гипотетическими и не намерены подразумевать точные фактические цены. Это просто для демонстрации того, как можно оценить, спланировать и управлять затратами на проекты Фабрики данных в Microsoft Fabric. Кроме того, так как емкости Fabric имеют уникальную цену в разных регионах, мы используем цены на оплату по мере использования для емкости Fabric на западе США 2 (типичный регион Azure) на 0,18 долл. США в час. См. здесь сведения о ценах на Microsoft Fabric. Чтобы изучить другие варианты ценообразования емкости Fabric.

Настройка

Чтобы выполнить этот сценарий, необходимо создать поток данных, выполнив следующие действия.

  1. Инициализация потока данных. Начните с отправки 2 ГБ CSV-файлов из локальной среды в поток данных.
  2. Настройка Power Query:
    1. Перейдите в Power Query.
    2. Отключите параметр для промежуточного выполнения запроса.
    3. Перейдите к сочетанию CSV-файлов.
  3. Преобразование данных:
    1. Повышение уровня заголовков для ясности.
    2. Удалите ненужные столбцы.
    3. При необходимости настройте типы данных столбцов.
  4. Определение назначения выходных данных:
    1. Настройте Lakehouse в качестве назначения выходных данных.
    2. В этом примере был создан и использован Lakehouse в Fabric.

Оценка затрат с помощью приложения метрик Fabric

Снимок экрана: длительность и потребление cu задания в приложении метрик Fabric.

Снимок экрана: сведения о стоимости обновления потока данных 2-го поколения.

Снимок экрана: сведения о высокомасштабируемом использовании вычислительных ресурсов потока данных 2-го поколения, используемом в ходе выполнения.

Снимок экрана: сведения о втором масштабируемом вычислительных ресурсах потока данных 2-го поколения, используемом в выполнении.

Операция обновления потока данных 2-го поколения потребляла 4749,42 секунды CU, а две операции с вычислительными потоками данных высокого масштаба потребляли 7,78 CU секунд + 7,85 СУ каждый.

Примечание.

Несмотря на то, что эта метрика отображается как метрика, фактическое время выполнения не имеет значения при вычислении эффективных часов CU с приложением метрик Структуры, так как метрика метрики CU, которая также сообщает уже о учетных записях в течение его длительности.

Метрика Потребление вычислительных ресурсов
Секунды обновления cu для потока данных 2-го поколения 4749,42 секунды CU
Высокомасштабируемые потоки данных вычисляют cu секунды (7.78 + 7.85) 15,63 секунды CU
Счета за действующие часы CU (4749.42 + 15.63) / (60*60) = 1,32 ЧАСОВ CU

Общая стоимость выполнения в $0,18/CU час = (1,32 CU-часа ) * ($0,18/CU час) ~= $0,24

Связанный контент