Часто задаваемые вопросы о фабрике данных в Microsoft Fabric

Фабрика данных помогает решать сложные сценарии интеграции данных и ETL с помощью служб перемещения данных в облаке и преобразования данных, а проектирование данных помогает создавать lake house, использовать Apache Spark для преобразования и подготовки данных. Различия между каждой терминологией и интерфейсом Fabric доступны в терминологии Microsoft Fabric.

Администраторы емкости Microsoft Fabric могут использовать приложение Метрик емкости Microsoft Fabric, также известное как приложение метрик , чтобы получить представление о ресурсах емкости. Это приложение позволяет администраторам узнать, сколько ресурсов ЦП, времени обработки и памяти используется конвейерами данных, потоками данных и другими элементами в рабочих областях с поддержкой емкости Fabric. Получите видимость причин перегрузки, пикового спроса, потребления ресурсов и более простой идентификации наиболее требовательных или наиболее популярных элементов.

Можно разделить различные рабочие нагрузки между рабочими областями и использовать такие роли, как член и средство просмотра, чтобы иметь рабочую область для проектирования данных, которая подготовки данных для рабочей области, которая используется для обучения отчета или искусственного интеллекта. С помощью роли просмотра можно использовать данные из рабочей области проектирования данных.

В настоящее время шлюз виртуальной сети предлагает метод внедрения, чтобы легко интегрироваться в виртуальную сеть, предоставляя надежный способ использования частных конечных точек для установления безопасных подключений к хранилищам данных. Важно отметить, что шлюз виртуальной сети размещает только потоки данных Fabric в данный момент. Однако наши предстоящие инициативы охватывают расширение возможностей для охвата конвейеров Fabric.

При использовании локального шлюза данных теперь можно подключиться к локальным источникам данных с помощью потоков данных и конвейеров данных (предварительная версия) с фабрикой данных в Microsoft Fabric. Дополнительные сведения см. в статье о доступе к локальным источникам данных в фабрике данных.

Ежемесячные обновления Fabric доступны в блоге Microsoft Fabric.

Цены на фабрику данных в Microsoft Fabric содержат комплексное руководство по вычислению затрат на конвейеры данных и поток данных 2-го поколения. Он включает несколько примеров ценообразования, которые помогут вам лучше понять модель ценообразования.

Новые и запланированные возможности фабрики данных в Microsoft Fabric предоставляют аналитические сведения о предстоящих функциях и их предполагаемой временной шкале выпуска в течение следующих нескольких месяцев.

Фабрика данных Fabric позволяет разрабатывать конвейеры, которые обеспечивают максимальную пропускную способность перемещения данных для вашей среды. Эти конвейеры полностью используют следующие ресурсы.

• Пропускная способность сети между исходным и целевым хранилищами данных.
• Входные и выходные операции хранилища данных источника или назначения (IOPS) и пропускная способность— это полное использование позволяет оценить общую пропускную способность, измеряя минимальную пропускную способность, доступную со следующими ресурсами:
• Исходное хранилище данных
• Целевое хранилище данных
• Пропускная способность сети между исходным и целевым хранилищами данных Между тем мы постоянно работаем над инновациями для повышения максимально возможной пропускной способности, которые можно достичь. Сегодня служба может переместить набор данных TPC-DI 1 ТБ (файлы parquet) в таблицу Fabric Lakehouse и хранилище данных в течение 5 минут — перемещение 1B строк в течение 1 мин; Обратите внимание, что эта производительность является только ссылкой, выполнив приведенный выше набор данных тестирования. Фактическая пропускная способность по-прежнему зависит от факторов, перечисленных ранее. Кроме того, можно всегда умножать пропускную способность путем параллельного выполнения нескольких действий копирования. Например, с помощью цикла ForEach.

Наше текущее внимание включает в себя активную разработку возможностей CDC в фабрике данных в Fabric. Эта возможность позволяет перемещать данные между несколькими источниками данных, сочетая различные шаблоны копирования, включая шаблон массового и пакетного копирования, шаблон добавочного и непрерывного копирования (CDC) и шаблон копирования в режиме реального времени в один интерфейс 5x5.

Действие Power Query в ADF разделяет сходство с Dataflow 2-го поколения, но имеет дополнительные функции, которые позволяют выполнять такие действия, как запись в определенные назначения данных и т. д. Это сравнение более справедливо соответствует потоку данных 1-го поколения (потоки данных Power BI или потоки данных Power Apps). Дополнительные сведения см. здесь: различия между потоком данных 1-го поколения и потоком данных 2-го поколения.

В некоторых пользовательских интерфейсах могут возникнуть системные артефакты, не предназначенные для взаимодействия. Лучше всего игнорировать эти артефакты, так как они в конечном итоге будут удалены из интерфейса получения данных в будущем.

Это сообщение об ошибке возникает, когда пользователь, создавший первый поток данных в рабочей области, не вошел в Fabric более 90 дней или покинул организацию. Чтобы устранить эту проблему, пользователь, упомянутый в сообщении об ошибке, должен войти в Fabric. Если пользователь покинул организацию, откройте запрос в службу поддержки.

Фабрика данных Azure (ADF) и конвейеры Azure Synapse поддерживают отдельные стратегии платформы как услуги (PaaS). Эти два решения продолжают сосуществовать вместе с фабрикой данных Fabric, которая служит предложением Software as a Service (SaaS). Конвейеры ADF и Synapse остаются полностью поддерживаемыми, и нет планов по прекращению использования. Важно подчеркнуть, что для всех предстоящих проектов мы рекомендуем инициировать их с помощью Фабрики данных Fabric. Кроме того, у нас есть стратегии для упрощения перехода конвейеров ADF и Synapse в фабрику данных Fabric, что позволяет им воспользоваться новыми функциональными возможностями Fabric. Более подробную информацию можно найти здесь.

Так как мы стремимся преодолеть пробелы в функциональных возможностях и включить надежные возможности оркестрации конвейеров данных и рабочих процессов, найденных в конвейерах ADF или Azure Synapse, в фабрику данных Fabric мы признаем, что некоторые функции, присутствующих в конвейерах ADF/ Synapse, могут быть важными для ваших потребностей. Хотя вам рекомендуется продолжать использовать конвейеры ADF или Synapse, если эти функции необходимы, мы рекомендуем сначала изучить новые возможности интеграции данных в Fabric. Ваши отзывы о том, какие функции являются ключевыми для вашего успеха, является бесценным. Чтобы упростить эту задачу, мы активно работаем над внедрением новой возможности, что позволяет переносить существующие фабрики данных из Azure в рабочие области Fabric.

Мы не возвращаем новые функции из конвейеров Fabric в конвейеры ADF или Synapse. Мы поддерживаем две отдельные стратегии для Фабрики данных Fabric и ADF/ Synapse. Мы оцениваем запросы обратной связи в ответ на входящие отзывы.

Основная функция конвейера Fabric аналогична конвейеру Azure Synapse, но с помощью конвейера Fabric пользователи могут применять все возможности аналитики данных на платформе Fabric. Важные различия и сопоставления функций между конвейером Fabric и конвейером Azure Synapse см. здесь: различия между фабрикой данных в Fabric и Azure.

Чтобы упростить переход клиентов на Microsoft Fabric из Фабрика данных Azure (ADF), мы предлагаем ряд основных функций и механизмов поддержки. Во-первых, мы предоставляем комплексную поддержку большинства действий, используемых в ADF в Fabric, а также добавление новых действий, адаптированных для уведомлений, таких как Teams и Outlook. Клиенты могут получить подробный список доступных действий в Фабрике данных в Fabric. Кроме того, мы представили соединители Fabric Lakehouse / Warehouse в Фабрика данных Azure, что позволяет легко интегрировать данные в среду OneLake Fabric для клиентов ADF. Мы также предоставляем руководство для клиентов ADF, которые помогают сопоставить существующие преобразования потока данных сопоставления с новыми преобразованиями потока данных 2-го поколения. По мере того как мы смотрим вперед, мы включаем возможность подключения ресурсов ADF в Fabric в нашей стратегии, что позволит клиентам сохранять функциональные возможности существующих конвейеров ADF в Azure при изучении Структуры и планировании комплексных стратегий обновления. Мы тесно сотрудничаем с клиентами и сообществом, чтобы определить наиболее эффективные способы поддержки миграции конвейеров данных из ADF в Fabric. В рамках этой работы мы предоставим возможности обновления, которые позволяют протестировать текущие конвейеры данных в Fabric с помощью процесса подключения и обновления.

Связанный контент

Введение в руководство по фабрике данных