Ten artykuł zawiera odpowiedzi na często zadawane pytania dotyczące usługi Data Factory w usłudze Microsoft Fabric.
Fabryka danych w sieci szkieletowej
Jaka jest różnica między fabryką danych a kartą inżynierii danych w sieci szkieletowej?
Usługa Data Factory ułatwia rozwiązywanie złożonych scenariuszy integracji danych i etL z usługami przenoszenia i przekształcania danych w skali chmury, podczas gdy inżynieria danych pomaga tworzyć magazyn typu lake, używać platformy Apache Spark do przekształcania i przygotowywania danych. Różnice między poszczególnymi terminologiami/środowiskami sieci szkieletowej są dostępne w terminologii usługi Microsoft Fabric.
Jak mogę śledzić i monitorować pojemność sieci szkieletowej używanej z potokami?
Administratorzy pojemności usługi Microsoft Fabric mogą używać aplikacji Metryki pojemności usługi Microsoft Fabric, znanej również jako aplikacja metryk , aby uzyskać wgląd w zasoby pojemności. Ta aplikacja umożliwia administratorom sprawdzenie, ile wykorzystania procesora CPU, czasu przetwarzania i pamięci są używane przez potoki danych, przepływy danych i inne elementy w obszarach roboczych z obsługą pojemności usługi Fabric. Uzyskaj wgląd w przyczyny przeciążenia, szczytowe czasy zapotrzebowania, zużycie zasobów i łatwiejsze identyfikowanie najbardziej wymagających lub najbardziej popularnych elementów.
Jakie podejście jest zalecane do przypisywania ról w usłudze Data Factory w sieci szkieletowej?
Możesz oddzielić różne obciążenia między obszarami roboczymi i użyć ról, takich jak członek i osoba przeglądająca, aby mieć obszar roboczy do inżynierii danych, który prepsuje dane dla obszaru roboczego używanego do trenowania raportów lub sztucznej inteligencji. Za pomocą roli osoby przeglądanej możesz następnie korzystać z danych z obszaru roboczego inżynierii danych.
Czy można nawiązać połączenie z istniejącymi zasobami z włączonym prywatnym punktem końcowym (PE) w usłudze Fabric Data Factory?
Obecnie brama sieci wirtualnej oferuje metodę iniekcji, która bezproblemowo integruje się z siecią wirtualną, zapewniając niezawodną drogę do korzystania z prywatnych punktów końcowych w celu nawiązywania bezpiecznych połączeń z magazynami danych. Należy pamiętać, że w tej chwili brama sieci wirtualnej obsługuje tylko przepływy danych sieci szkieletowej. Jednak nasze nadchodzące inicjatywy obejmują rozszerzenie swoich możliwości, aby obejmować potoki sieci szkieletowej.
Jak połączyć się z lokalnymi źródłami danych w usłudze Fabric Data Factory?
W przypadku korzystania z lokalnej bramy danych można teraz łączyć się z lokalnymi źródłami danych przy użyciu przepływów danych i potoków danych (wersja zapoznawcza) z usługą Data Factory w usłudze Microsoft Fabric. Aby dowiedzieć się więcej, zobacz Jak uzyskać dostęp do lokalnych źródeł danych w usłudze Data Factory.
Aktualizacje wydania i cennik
Gdzie można znaleźć comiesięczne aktualizacje dostępne w usłudze Fabric?
Comiesięczne aktualizacje sieci szkieletowej są dostępne na blogu usługi Microsoft Fabric.
Co to jest cennik usługi Fabric Data Factory/ model rozliczeń?
Cennik usługi Data Factory w usłudze Microsoft Fabric zawiera kompleksowy przewodnik dotyczący sposobu obliczania kosztów dla potoków danych i usługi Dataflow Gen2. Zawiera kilka przykładowych scenariuszy cen, które ułatwiają lepsze zrozumienie modelu cen.
Gdzie można znaleźć więcej informacji o nadchodzących funkcjach planowanych dla usługi Data Factory w usłudze Microsoft Fabric?
Nowości i plany dotyczące usługi Data Factory w usłudze Microsoft Fabric zapewniają wgląd w nadchodzące funkcje i szacowane osie czasu wydania w ciągu najbliższych kilku miesięcy.
Potoki danych
Jak szybko mogę pozyskiwać dane w potokach danych sieci szkieletowej?
Usługa Fabric Data Factory umożliwia opracowywanie potoków, które maksymalizują przepływność przenoszenia danych dla środowiska. Te potoki w pełni wykorzystują następujące zasoby:
- Przepustowość sieci między źródłowymi i docelowymi magazynami danych
- Źródłowe lub docelowe operacje wejścia/wyjścia magazynu danych na sekundę i przepustowość Ta pełna przepustowość oznacza, że można oszacować ogólną przepływność, mierząc minimalną przepływność dostępną przy użyciu następujących zasobów:
- Źródłowy magazyn danych
- Docelowy magazyn danych
- Przepustowość sieci między źródłowymi i docelowymi magazynami danych tymczasem stale pracujemy nad innowacjami, aby zwiększyć najlepszą możliwą przepływność, którą można osiągnąć. Obecnie usługa może przenieść zestaw danych TPC-DI (pliki parquet) 1 TB do tabeli Fabric Lakehouse i magazynu danych w ciągu 5 minut — przeniesienie 1B wierszy poniżej 1 minuty; Należy pamiętać, że ta wydajność jest tylko odwołaniem, uruchamiając powyższy testowy zestaw danych. Rzeczywista przepływność nadal zależy od czynników wymienionych wcześniej. Ponadto możesz zawsze pomnożyć przepływność, uruchamiając równolegle wiele działań kopiowania. Na przykład przy użyciu pętli ForEach.
Czy funkcja CDC będzie dostępna w usłudze Data Factory w sieci szkieletowej?
Naszym bieżącym celem jest aktywny rozwój funkcji CDC w usłudze Data Factory In Fabric. Ta nadchodząca funkcja umożliwia przenoszenie danych między wieloma źródłami danych łączącymi różne wzorce kopiowania, w tym wzorzec kopiowania zbiorczego/wsadowego, wzorzec przyrostowego/ciągłego kopiowania (CDC) i wzorzec kopiowania w czasie rzeczywistym w jednym środowisku 5x5.
Przepływy danych Gen2
Czy przepływ danych sieci szkieletowej Gen2 jest podobny do dodatku Power Query osadzonego w usłudze Azure Data Factory?
Działanie Dodatku Power Query w usłudze ADF współdzieli podobieństwa z usługą Dataflow Gen2, ale ma dodatkowe funkcje, które umożliwiają wykonywanie akcji, takich jak zapisywanie w określonych miejscach docelowych danych itp. To porównanie jest bardziej zgodne z przepływem danych Gen1 (przepływami danych usługi Power BI lub przepływami danych usługi Power Apps). Zobacz tutaj więcej szczegółów: Różnice między przepływem danych Gen1 i przepływem danych Gen2.
W usłudze Fabric DataFlow Gen2 od czasu do czasu napotykam funkcje, takie jak DataflowsStaginglakehouse / DataflowsStagingwarehouse. Jakie są te funkcje?
W niektórych środowiskach użytkownika mogą wystąpić artefakty systemowe, które nie są przeznaczone do interakcji. Najlepiej zlekceważyć te artefakty, ponieważ w przyszłości zostaną one ostatecznie usunięte z środowisk Pobierania danych.
Moje odświeżanie nie powiodło się z komunikatem o błędzie "Odświeżanie przepływu danych nie powiodło się z powodu niewystarczających uprawnień do uzyskiwania dostępu do przejściowych artefaktów". Co mam robić?
Ten komunikat o błędzie występuje, gdy użytkownik, który utworzył pierwszy przepływ danych w obszarze roboczym, nie zalogował się do sieci szkieletowej przez ponad 90 dni lub opuścił organizację. Aby rozwiązać ten problem, użytkownik wymieniony w komunikacie o błędzie powinien zalogować się do sieci szkieletowej. Jeśli użytkownik opuścił organizację, otwórz bilet pomocy technicznej.
Obsługa potoków usługi ADF/Synapse i ścieżka migracji
Jaka jest przyszłość usług Azure Data Factory (ADF) i Synapse Pipelines?
Potoki usługi Azure Data Factory (ADF) i Azure Synapse utrzymują oddzielne plany dotyczące platformy jako usługi (PaaS). Te dwa rozwiązania nadal współistnieją wraz z usługą Fabric Data Factory, która służy jako oferta oprogramowania jako usługi (SaaS). Potoki usług ADF i Synapse pozostają w pełni obsługiwane i nie ma planów wycofania. Ważne jest, aby podkreślić, że w przypadku wszelkich nadchodzących projektów nasza sugestia polega na zainicjowaniu ich przy użyciu usługi Fabric Data Factory. Ponadto mamy strategie ułatwiające przejście potoków usług ADF i Synapse do usługi Fabric Data Factory, co umożliwia im korzystanie z nowych funkcji sieci szkieletowej. Więcej informacji na ten temat można znaleźć tutaj.
Biorąc pod uwagę luki w funkcjonalności usługi Data Factory dla sieci szkieletowej, jakie są przyczyny wybrania jej w potokach usługi ADF/Synapse?
Ponieważ staramy się wypełnić luki w funkcjach i uwzględnić niezawodne funkcje orkiestracji i przepływu pracy potoków danych znajdujące się w potokach usługi ADF/Azure Synapse w usłudze Fabric Data Factory, potwierdzamy, że niektóre funkcje obecne w potokach usługi ADF/Synapse mogą być niezbędne dla Twoich potrzeb. Zachęcamy do kontynuowania korzystania z potoków usługi ADF/Synapse, jeśli te funkcje są niezbędne, zachęcamy cię do zapoznania się z nowymi możliwościami integracji danych w usłudze Fabric. Twoja opinia na temat tego, które funkcje są kluczowe dla twojego sukcesu, są bezcenne. Aby to ułatwić, aktywnie pracujemy nad wprowadzeniem nowej funkcji, umożliwiając również migrację istniejących fabryk danych z platformy Azure do obszarów roboczych usługi Fabric.
Czy nowe funkcje w usłudze Fabric Data Factory są również dostępne w usłudze ADF/Synapse?
Nie przywracamy nowych funkcji z potoków sieci szkieletowej do potoków usługi ADF /Synapse. Utrzymujemy dwa oddzielne plany dla usługi Fabric Data Factory i ADF/ Synapse. Oceniamy żądania backportu w odpowiedzi na przychodzące opinie.
Czy potoki danych sieci szkieletowej są takie same jak potoki usługi Azure Synapse?
Główna funkcja potoku sieci szkieletowej jest podobna do potoku usługi Azure Synapse, ale przy użyciu potoku sieci szkieletowej użytkownicy mogą zastosować wszystkie możliwości analizy danych na platformie Fabric. Istotne różnice i mapowania funkcji między potokiem sieci szkieletowej i potokiem usługi Azure Synapse można znaleźć tutaj: Różnice między usługą Data Factory w sieci szkieletowej i na platformie Azure.
Jak mogę przeprowadzić migrację istniejących potoków z obszaru roboczego usługi Azure Synapse (lub) usługi Azure Synapse do usługi Fabric Data Factory?
Aby ułatwić klientom przejście do usługi Microsoft Fabric z usługi Azure Data Factory (ADF), oferujemy szereg podstawowych funkcji i mechanizmów pomocy technicznej. Po pierwsze zapewniamy kompleksową obsługę większości działań używanych w usłudze ADF w sieci Szkieletowej, a także dodanie nowych działań dostosowanych do powiadomień, takich jak funkcje usługi Teams i outlook. Klienci mogą uzyskać dostęp do szczegółowej listy dostępnych działań w usłudze Data Factory w usłudze Fabric. Ponadto wprowadziliśmy łączniki Usługi Fabric Lakehouse /Warehouse w usłudze Azure Data Factory, umożliwiając bezproblemową integrację danych ze środowiskiem OneLake sieci Szkieletowej dla klientów usługi ADF. Udostępniamy również przewodnik dla klientów usługi ADF, który ułatwia mapowanie istniejących przekształceń przepływu danych mapowania na nowe przekształcenia przepływu danych Gen2. W miarę oczekiwania uwzględniamy możliwość instalowania zasobów usługi ADF w usłudze Fabric w ramach naszego planu, co pozwoli klientom zachować funkcjonalność istniejących potoków usługi ADF na platformie Azure podczas eksplorowania sieci szkieletowej i planowania kompleksowych strategii uaktualniania. Ściśle współpracujemy z klientami i społecznością, aby określić najbardziej efektywne sposoby obsługi migracji potoków danych z usługi ADF do sieci szkieletowej. W ramach tego nakładu pracy udostępnimy środowisko uaktualniania, które umożliwia przetestowanie bieżących potoków danych w sieci szkieletowej przez proces instalowania i uaktualniania ich.