Co nowego i planowanego dla usługi Data Factory w usłudze Microsoft Fabric
Ważne
Plany wydania opisują funkcje, które mogą lub nie zostały jeszcze wydane. Harmonogramy dostarczania i przewidywane funkcje mogą ulec zmianie lub nie mogą być dostarczane. Aby uzyskać więcej informacji, zapoznaj się z zasadami firmy Microsoft.
Usługa Data Factory w usłudze Microsoft Fabric łączy możliwości integracji danych obywateli i integracji danych pro w jedno nowoczesne środowisko integracji danych. Zapewnia ona łączność z ponad 100 relacyjnymi i nierelacyjnymi bazami danych, magazynami danych, interfejsami ogólnymi, takimi jak interfejsy API REST, OData i inne.
Przepływy danych: przepływ danych Gen2 umożliwia wykonywanie przekształceń danych na dużą skalę i obsługuje różne miejsca docelowe danych wyjściowych, które zapisują się w usłudze Azure SQL Database, Lakehouse, Data Warehouse i nie tylko. Edytor przepływów danych oferuje ponad 300 przekształceń, w tym opcji opartych na sztucznej inteligencji, i umożliwia łatwe przekształcanie danych z większą elastycznością niż jakiekolwiek inne narzędzie. Niezależnie od tego, czy wyodrębniasz dane ze źródła danych bez struktury, takiego jak strona internetowa, czy zmieniasz istniejącą tabelę w edytorze Power Query, możesz łatwo zastosować wyodrębnianie danych dodatku Power Query według przykładu, które używa sztucznej inteligencji (AI) i upraszcza proces.
Potoki danych: potoki danych oferują możliwość tworzenia wszechstronnych przepływów pracy orkiestracji danych, które łączą zadania, takie jak wyodrębnianie danych, ładowanie do preferowanych magazynów danych, wykonywanie notesu, wykonywanie skryptów SQL i nie tylko. Możesz szybko tworzyć zaawansowane potoki danych oparte na metadanych, które automatyzują powtarzające się zadania. Na przykład ładowanie i wyodrębnianie danych z różnych tabel w bazie danych, iterowanie za pomocą wielu kontenerów w usłudze Azure Blob Storage i nie tylko. Ponadto za pomocą potoków danych można uzyskać dostęp do danych z platformy Microsoft 365 przy użyciu łącznika połączenia danych programu Microsoft Graph (MGDC).
Zadanie kopiowania: Zadanie kopiowania upraszcza środowisko pozyskiwania danych dzięki usprawnionemu i przyjaznemu dla użytkownika procesowi przenoszenia danych w skali petabajtów z dowolnego źródła do dowolnego miejsca docelowego. Dane można kopiować za pomocą różnych stylów dostarczania danych, w tym kopiowania wsadowego, kopiowania przyrostowego i nie tylko.
Zadanie platformy Apache Airflow: Zadanie platformy Apache Airflow to kolejna generacja menedżera orkiestracji przepływu pracy usługi Azure Data Factory. Jest to prosty i wydajny sposób tworzenia zadań orkiestracji platformy Apache Airflow i zarządzania nimi, co umożliwia łatwe uruchamianie grafów Acyklicznych (DAG, Directed Acyclic Graphs) na dużą skalę. Zadanie apache Airflow umożliwia nowoczesne środowisko integracji danych w celu pozyskiwania, przygotowywania, przekształcania i organizowania danych z bogatego zestawu źródeł danych przy użyciu kodu.
Dublowanie baz danych: dublowanie bazy danych w sieci szkieletowej to tanie rozwiązanie o małych opóźnieniach zaprojektowane z otwartymi standardami (np. format tabeli usługi Delta Lake). Umożliwia szybkie replikowanie danych i metadanych z różnych systemów. Korzystając z funkcji dublowania bazy danych, można stale replikować zasoby danych do usługi Microsoft Fabric OneLake na potrzeby analizy. Dzięki wysoce zintegrowanemu, łatwemu w użyciu środowisku możesz teraz uprościć sposób rozpoczynania pracy z potrzebami analitycznymi.
Aby dowiedzieć się więcej, zobacz dokumentację.
Obszary inwestycyjne
W ciągu najbliższych kilku miesięcy usługa Data Factory w usłudze Microsoft Fabric rozszerzy swoje opcje łączności i będzie nadal dodawać do bogatej biblioteki przekształceń i działań potoku danych. Ponadto umożliwia wykonywanie replikacji danych w czasie rzeczywistym z operacyjnych baz danych o wysokiej wydajności i przenoszenie tych danych do magazynu typu lake na potrzeby analizy.
Obsługa ciągłej integracji/ciągłego wdrażania i publicznych interfejsów API przepływu danych Gen2
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Funkcje usługi Dataflow Gen2 zostaną ulepszone w celu obsługi następujących funkcji w usłudze Fabric, w tym:
- Możliwość uwzględnienia elementów przepływu danych Gen2 w potokach wdrażania ALM.
- Możliwość wykorzystania elementów usługi Dataflow Gen2 z funkcjami kontroli źródła (integracja z usługą Git).
- Publiczne interfejsy API CRUDLE dla elementów gen2 przepływu danych.
Są to bardzo wymagane możliwości wielu klientów i cieszymy się, że są one dostępne jako funkcja w wersji zapoznawczej.
Semantyczny model odświeżania tabel i partycji
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Użytkownicy potoku są bardzo podekscytowani naszym bardzo popularnym działaniem potoku odświeżania modelu semantycznego. Typowym pytaniem było ulepszenie potoku przetwarzania ELT przez odświeżenie określonych tabel i partycji w swoich modelach. Teraz włączyliśmy tę funkcję, dzięki czemu działanie potoku jest najbardziej efektywnym sposobem odświeżania modeli semantycznych sieci szkieletowej.
Importowanie i eksportowanie potoku usługi Data Factory sieci szkieletowej
Szacowana oś czasu wydania: Q4 2024
Typ wydania: ogólna dostępność
Jako deweloper potoku usługi Data Factory często chcesz wyeksportować definicję potoku, aby udostępnić ją innym deweloperom lub użyć jej ponownie w innych obszarach roboczych. Dodaliśmy teraz możliwość eksportowania i importowania potoków usługi Data Factory z obszaru roboczego usługi Fabric. Ta zaawansowana funkcja umożliwi jeszcze większe możliwości współpracy i będzie nieoceniona podczas rozwiązywania problemów z potokami za pomocą naszych zespołów pomocy technicznej.
Copilot for Data Factory (potok danych)
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Rozwiązanie Copilot for Data Factory (potok danych) umożliwia klientom tworzenie potoków danych przy użyciu języka naturalnego i zawiera wskazówki dotyczące rozwiązywania problemów.
Dublowanie dla usługi Azure SQL DB
Szacowana oś czasu wydania: Q4 2024
Typ wydania: ogólna dostępność
Dublowanie zapewnia bezproblemowe środowisko bez funkcji ETL w celu zintegrowania istniejących danych usługi Azure SQL DB z resztą danych w usłudze Microsoft Fabric. Dane usługi Azure SQL DB można stale replikować bezpośrednio do usługi Fabric OneLake niemal w czasie rzeczywistym bez wpływu na wydajność obciążeń transakcyjnych.
Dowiedz się więcej o dublowaniu w usłudze Microsoft Fabric
Otwieranie dublowania
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Open Mirroring to zaawansowana funkcja, która zwiększa rozszerzalność sieci szkieletowej, umożliwiając każdemu dostawcy aplikacji lub dostawcy danych przeniesienie ich majątku danych bezpośrednio do usługi OneLake przy minimalnym nakładzie pracy. Dzięki umożliwieniu dostawcom danych i aplikacjom zapisywania zmian danych bezpośrednio w dublowanej bazie danych w sieci szkieletowej funkcja Open Mirroring upraszcza obsługę złożonych zmian danych, zapewniając, że wszystkie dublowane dane są stale aktualne i gotowe do analizy.
Obsługa publicznych interfejsów API potoków danych
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Aby umożliwić korzystanie z interfejsów API REST potoku w sieci szkieletowej znacznie łatwiejsze i bezpieczniejsze, włączymy obsługę nazwy SPN (jednostki usługi) dla publicznych interfejsów API.
Obsługa potoku danych dla zmiennych obszaru roboczego sieci szkieletowej
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Podczas implementowania CICD w środowiskach potoków usługi Fabric Data Factory bardzo ważne jest zaktualizowanie wartości od dewelopera do testowania do wersji prod itp. Używając zmiennych wewnątrz sieci Szkieletowej, można zastąpić wartości między środowiskami, a także udostępniać wartości między potokami podobnymi do parametrów globalnych usługi ADF.
Automatyczna aktualizacja lokalnej bramy danych
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Funkcja automatycznego uaktualniania lokalnej bramy danych zapewnia, że brama zawsze uruchamia najnowszą wersję, zapewniając ulepszoną funkcjonalność, aktualizacje zabezpieczeń i nowe funkcje bez ręcznej interwencji. Ta funkcja upraszcza zarządzanie bramą przez automatyczne pobieranie i instalowanie aktualizacji w miarę ich dostępności.
Obsługa potoku danych dla bram sieci wirtualnej
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Brama danych sieci wirtualnej będzie obsługiwać potok danych sieci szkieletowej, w tym działanie kopiowania potoku i inne działania potoku. Klienci będą mogli bezpiecznie łączyć się ze źródłami danych w potoku za pośrednictwem bramy danych sieci wirtualnej.
Miejsce docelowe wyjściowe przepływu danych Gen2 do plików programu SharePoint
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Po oczyszczeniu i przygotowaniu danych za pomocą przepływu danych Gen 2 ta funkcja umożliwia wybranie plików programu SharePoint jako miejsca docelowego danych. Ta funkcja ułatwia eksportowanie przekształconych danych do pliku CSV i przechowywanie ich w programie Microsoft SharePoint w celu udostępnienia wszystkim osobom z uprawnieniami do witryny.
Obsługa potoku danych dla wyzwalaczy okna wirowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Planowanie przebiegów potoków przy użyciu okien czasowych, które nie nakładają się i może być "odtwarzane", jest bardzo ważną funkcją w potokach, z których korzysta wielu użytkowników usługi ADF. Jesteśmy bardzo podekscytowani, aby udostępnić tę funkcję okna wirowania do planowania potoków w usłudze Fabric Data Factory.
Element usługi Azure Data Factory
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Z przyjemnością ogłaszamy ogólną dostępność elementu usługi Azure Data Factory w usłudze Fabric. Dzięki tej nowej funkcji istniejący użytkownicy usługi ADF mogą szybko i łatwo udostępniać fabryki danych z platformy Azure do obszaru roboczego usługi Fabric. Teraz możesz zarządzać potokami usługi ADF, edytować je i wywoływać bezpośrednio z poziomu sieci szkieletowej.
Obsługa działania kopiowania potoku danych dla dodatkowych źródeł
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Rozszerzamy obsługę większej liczby łączników źródłowych w działanie Kopiuj, umożliwiając klientom bezproblemowe kopiowanie danych z szerokiej gamy źródeł, takich jak Teradata, Spark, azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (pakiet) i inne.
Równoległe wykonywanie przepływów danych 2. generacji
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
"Użytkownicy chcą elastycznego sposobu definiowania logiki przekształceń przepływów danych Gen2 i równoległego wykonywania przy użyciu różnych argumentów. Obecnie muszą utworzyć wiele przepływów danych lub wiele zapytań w ramach jednego przepływu danych, aby mieć logikę, której można użyć ponownie z różnymi argumentami.
W ramach tego ulepszenia umożliwimy użytkownikom ustawianie pętli "foreach" dla całego elementu przepływu danych opartego na autonomicznym zapytaniu, które działa jako lista wartości parametrów do iterowania i napędzania tego konteneryzowanego podejścia do równoległego i dynamicznego wykonywania.
Zarządzanie tożsamościami źródła danych (Azure Key Vault)
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Obsługa usługi Azure Key Vault — klucze i wpisy tajne można przechowywać w usłudze Azure Key Vault i łączyć się z nimi. Dzięki temu można zarządzać kluczami w jednym miejscu.
Dublowanie dla usługi CosmosDB
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Dublowanie zapewnia bezproblemowe środowisko etL umożliwiające integrację istniejących danych usługi Azure Cosmos DB z resztą danych w usłudze Microsoft Fabric. Dane usługi Azure Cosmos DB można stale replikować bezpośrednio do usługi Fabric OneLake niemal w czasie rzeczywistym bez wpływu na wydajność obciążeń transakcyjnych.
Obsługa ciągłej integracji/ciągłego wdrażania i publicznych interfejsów API przepływu danych Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Elementy usługi Dataflow Gen2 obsługują funkcje ciągłej integracji/ciągłego wdrażania w sieci szkieletowej, w tym kontrolę źródła (integracja z usługą Git), a także potoki wdrażania ALM. Ponadto klienci będą mogli programowo korzystać z elementów usługi Dataflow Gen2 w sieci szkieletowej za pośrednictwem interfejsów API REST sieci szkieletowej, zapewniając obsługę operacji CRUDLE za pośrednictwem elementów dataflow Gen2.
Obsługa publicznych interfejsów API przepływu danych Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Elementy usługi Dataflow Gen2 będą obsługiwane za pośrednictwem interfejsów API REST sieci szkieletowej z obsługą uwierzytelniania jednostki usługi.
Odświeżanie przyrostowe przepływu danych Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Pod koniec września 2024 r. udostępniliśmy funkcję Odświeżanie przyrostowe przepływu danych Gen2 jako funkcję publicznej wersji zapoznawczej. Będziemy nadal monitorować opinie klientów i ulepszać tę funkcję prowadzącą do jej ogólnej dostępności, zaplanowanej na koniec Q1CY2025.
Obsługa odświeżania przyrostowego przepływu danych Gen2 dla miejsca docelowego usługi Lakehouse
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Odświeżanie przyrostowe przepływu danych Gen2 optymalizuje wykonywanie przepływu danych w celu pobrania tylko najnowszych danych zmienionych w źródłach danych przepływu danych na podstawie kolumny partycji data/godzina. Dzięki temu dane mogą być ładowane przyrostowo do usługi OneLake na potrzeby przekształceń podrzędnych lub danych wyjściowych do miejsca docelowego przepływu danych.
W ramach tego ulepszenia zapewnimy bezpośrednią obsługę odświeżania przyrostowego w celu wyprowadzania danych bezpośrednio do tabel usługi Fabric Lakehouse.
Parametryzacja przepływu danych Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Użytkownicy są przyzwyczajeni do uruchamiania potoków opartych na metadanych, w których mogą wprowadzać zmienne lub parametry do różnych działań potoku, a tym samym wykonywać elementy w bardziej dynamiczny sposób: utwórz raz, ponownie wielokrotnie.
W ramach tego ulepszenia sprawimy, że przepływy danych wykonywane za pośrednictwem potoku danych w sieci szkieletowej mogą być dostarczane z wartościami parametrów dla istniejących parametrów przepływu danych.
Obsługa funkcji Zapisz jako nowy element w przepływie danych Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Klienci często chcą ponownie utworzyć istniejący przepływ danych jako nowy przepływ danych. Obecnie, aby to osiągnąć, muszą utworzyć nowy element Dataflow Gen2 od podstaw i skopiować istniejące zapytania lub wykorzystać możliwości szablonu Eksportuj/Importuj dodatek Power Query. Jest to jednak nie tylko niewygodne ze względu na niepotrzebne kroki, ale także nie przenosi dodatkowych ustawień przepływu danych, takich jak zaplanowane odświeżanie i inne właściwości elementu (nazwa, opis, etykieta poufności itp.).
W ramach tego rozszerzenia udostępnimy szybki gest "Zapisz jako" w środowisku edycji przepływu danych Gen2, dzięki czemu użytkownicy mogą zapisywać istniejący przepływ danych jako nowy przepływ danych.
Obsługa przepływu danych Gen1 dla nowego elementu Save As Dataflow Gen2
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Klienci często chcą ponownie utworzyć istniejący element usługi Dataflow Gen1 jako nowy element usługi Dataflow Gen2. Obecnie, aby to osiągnąć, muszą utworzyć nowy element Dataflow Gen2 od podstaw i skopiować istniejące zapytania lub wykorzystać możliwości szablonu Eksportuj/Importuj dodatek Power Query. Jest to jednak nie tylko niewygodne ze względu na niepotrzebne kroki, ale także nie przenosi dodatkowych ustawień przepływu danych, takich jak zaplanowane odświeżanie i inne właściwości elementu (nazwa, opis, etykieta poufności itp.).
W ramach tego rozszerzenia udostępnimy szybki gest "Zapisz jako" w środowisku edycji przepływu danych Gen1, co umożliwi użytkownikom zapisanie istniejącego elementu dataflow Gen1 jako nowego elementu przepływu danych Gen2.
Zadanie kopiowania — kopia przyrostowa bez konieczności określania kolumn limitu
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Wprowadzimy natywną funkcję CDC (Change Data Capture) w zadaniu kopiowania dla kluczowych łączników. Oznacza to, że kopia przyrostowa automatycznie wykryje zmiany — nie trzeba określać kolumn przyrostowych przez klientów.
Zadanie kopiowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Zadanie kopiowania w usłudze Data Factory zwiększa poziom środowiska pozyskiwania danych do bardziej usprawnionego i przyjaznego dla użytkownika procesu z dowolnego źródła do dowolnego miejsca docelowego. Teraz kopiowanie danych jest łatwiejsze niż kiedykolwiek wcześniej. Zadanie kopiowania obsługuje różne style dostarczania danych, w tym kopiowanie wsadowe i kopiowanie przyrostowe, zapewniając elastyczność zaspokajania określonych potrzeb.
Obsługa ciągłej integracji/ciągłego wdrażania zadania kopiowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Elementy zadania kopiowania będą obsługiwać funkcje ciągłej integracji/ciągłego wdrażania w sieci szkieletowej, w tym kontrolę źródła (integracja z usługą Git), a także potoki wdrażania ALM.
Obsługa publicznych interfejsów API zadania kopiowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Klienci będą mogli programowo wchodzić w interakcje z elementami zadania kopiowania w sieci szkieletowej za pośrednictwem publicznych interfejsów API sieci szkieletowej, zapewniając obsługę operacji CRUDLE za pośrednictwem elementów zadania kopiowania
Obsługa przepływu danych Gen2 dla dodatkowych źródeł szybkiego kopiowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Rozszerzamy usługę Fast Copy w usłudze Dataflow Gen2, aby obsługiwać więcej łączników źródłowych, co pozwala klientom ładować dane o wyższej wydajności. Nowe łączniki będą obejmować pliki Fabric Lakehouse, Google BigQuery, Amazon Redshift i inne — umożliwiając szybszą i wydajniejszą integrację danych.
Obsługa zadań kopiowania dla dodatkowych źródeł
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Rozszerzamy obsługę większej liczby łączników źródłowych w zadaniu kopiowania, umożliwiając klientom bezproblemowe kopiowanie danych z szerokiej gamy źródeł. Jednocześnie zachowamy uproszczone środowisko pracy, oferując różne wzorce kopiowania, w tym pełną kopię i kopię przyrostowa.
Obsługa potoku danych dla wyzwalaczy zdarzeń magazynu OneLake
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Popularny mechanizm używany do wywoływania potoków w usłudze Fabric Data Factory używa wyzwalacza pliku. W przypadku wykrycia zdarzeń plików (tj. przybycia pliku, usunięcia pliku ...) w magazynie obiektów blob lub usłudze ADLS Gen2 potok usługi Fabric Data Factory zostanie wywołany. Teraz dodaliśmy zdarzenia plików OneLake do typów zdarzeń wyzwalacza w sieci szkieletowej.
Umożliwienie klientom parametryzacji połączeń
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Połączenia zapewniają wspólną platformę do definiowania łączności i uwierzytelniania dla magazynów danych. Te połączenia mogą być współużytkowane przez różne elementy. Dzięki obsłudze parametryzacji będzie można tworzyć złożone i wielokrotnego użytku potoki, notesy, przepływy danych i inne typy elementów.
Obsługa potoku danych dla bazy danych DBT
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Orkiestracja interfejsu wiersza polecenia DBT (narzędzie do kompilacji danych): zawiera narzędzie do kompilacji danych (dbt) na potrzeby przepływów pracy przekształcania danych.
Obsługa tożsamości zarządzanych przypisanych przez użytkownika w połączeniach
Szacowana oś czasu wydania: Q2 2025
Typ wydania: publiczna wersja zapoznawcza
To ulepszenie obsługi tożsamości zarządzanych przypisanych przez użytkownika w połączeniach zapewnia znaczącą wartość, oferując bardziej bezpieczną i elastyczną metodę uwierzytelniania na potrzeby uzyskiwania dostępu do zasobów danych. Pozwala uniknąć trwałego kodowania poświadczeń, upraszcza zarządzanie, eliminując konieczność rotacji wpisów tajnych, zapewnia zgodność z zasadami zabezpieczeń, bezproblemowo integruje się z usługami platformy Azure i obsługuje skalowalność w połączeniach, umożliwiając wielu wystąpień współużytkowanie tej samej tożsamości.
Dostarczane funkcje
Usługa Azure Data Factory w sieci szkieletowej
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Przełącz istniejącą usługę Azure Data Factory (ADF) do obszaru roboczego usługi Fabric! Jest to nowa funkcja w wersji zapoznawczej, która umożliwia łączenie się z istniejącymi fabrykami usługi ADF z obszaru roboczego usługi Fabric.
Teraz będzie można w pełni zarządzać fabrykami usługi ADF bezpośrednio z poziomu interfejsu użytkownika obszaru roboczego usługi Fabric. Gdy usługa ADF zostanie połączona z obszarem roboczym usługi Fabric, będzie można wyzwalać, wykonywać i monitorować potoki tak jak w usłudze ADF, ale bezpośrednio wewnątrz sieci szkieletowej.
Obsługa wywoływania potoków danych między obszarami roboczymi
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Wywołaj aktualizację działania Potoki: włączamy nowe i ekscytujące aktualizacje działania Wywołaj potok. W odpowiedzi na przytłaczające żądania klientów i społeczności włączamy uruchamianie potoków danych w różnych obszarach roboczych. Teraz będzie można wywoływać potoki z innych obszarów roboczych, do których masz dostęp. Umożliwi to bardzo ekscytujące wzorce przepływu pracy danych, które mogą korzystać ze współpracy z zespołami inżynieryjnymi i integracyjnymi danych w obszarach roboczych i w różnych zespołach funkcjonalnych.
Obsługa lokalnej bramy danych (OPDG) dodana do potoków danych
Wysłane (Q3 2024)
Typ wydania: ogólna dostępność
Ta funkcja umożliwia potokom danych używanie bram danych sieci szkieletowej do uzyskiwania dostępu do danych lokalnych i za siecią wirtualną. W przypadku użytkowników korzystających z własnych środowisk Integration Runtime (SHIR) będą mogli przejść do lokalnych bram danych w sieci szkieletowej.
Zadanie kopiowania
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Zadanie kopiowania upraszcza środowisko dla klientów, którzy muszą pozyskiwać dane bez konieczności tworzenia przepływu danych lub potoku danych. Zadanie kopiowania obsługuje pełne i przyrostowe kopiowanie z dowolnych źródeł danych do dowolnych miejsc docelowych danych. Zarejestruj się teraz w prywatnej wersji zapoznawczej.
Dublowanie dla płatka śniegu
Wysłane (Q3 2024)
Typ wydania: ogólna dostępność
Dublowanie zapewnia bezproblemowe środowisko bez funkcji ETL w celu zintegrowania istniejących danych snowflake z resztą danych w usłudze Microsoft Fabric. Dane usługi Snowflake można stale replikować bezpośrednio do usługi Fabric OneLake niemal w czasie rzeczywistym bez wpływu na wydajność obciążeń transakcyjnych.
Ulepszone powiadomienia e-mail dotyczące niepowodzeń odświeżania
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Powiadomienia e-mail umożliwiają twórcom przepływu danych Gen2 monitorowanie wyników (powodzenie/niepowodzenie) operacji odświeżania przepływu danych.
Obsługa szybkiego kopiowania w przepływie danych Gen2
Wysłane (Q3 2024)
Typ wydania: ogólna dostępność
Dodajemy obsługę pozyskiwania danych na dużą skalę bezpośrednio w środowisku usługi Dataflow Gen2, korzystając z możliwości działania kopiowania potoków. To ulepszenie znacznie skaluje w górę pojemność przetwarzania danych w usłudze Dataflow Gen2, zapewniając możliwości ELT (Extract-Load-Transform).
Obsługa odświeżania przyrostowego w przepływie danych Gen2
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę odświeżania przyrostowego w usłudze Dataflow Gen2. Ta funkcja umożliwia przyrostowe wyodrębnianie danych ze źródeł danych, stosowanie przekształceń dodatku Power Query i ładowanie ich do różnych miejsc docelowych danych wyjściowych.
Zarządzanie tożsamościami źródła danych (tożsamość zarządzana)
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Umożliwia to skonfigurowanie tożsamości zarządzanej na poziomie obszaru roboczego. Tożsamości zarządzane sieci szkieletowej umożliwiają bezpieczne łączenie ze źródłem danych.
Obsługa potoku danych dla zadań usługi Azure Databricks
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Aktualizujemy potoki danych usługi Data Factory w usłudze Azure Databricks, aby teraz korzystać z najnowszego interfejsu API zadań, co umożliwia wykonywanie ekscytujących funkcji przepływu pracy, takich jak wykonywanie zadań DLT.
Copilot for Data Factory (przepływ danych)
Wysłane (Q3 2024)
Typ wydania: ogólna dostępność
Copilot for Data Factory (Dataflow) umożliwia klientom wyrażanie wymagań przy użyciu języka naturalnego podczas tworzenia rozwiązań integracji danych z usługą Dataflows Gen2.
Obsługa potoku danych dla elementu SparkJobDefinition
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Teraz możesz wykonać kod platformy Spark, w tym pliki JAR, bezpośrednio z działania potoku. Wystarczy wskazać kod platformy Spark, a potok wykona zadanie w klastrze Spark w sieci szkieletowej. To nowe działanie umożliwia ekscytujące wzorce przepływu pracy danych, które wykorzystują możliwości aparatu Spark usługi Fabric, w tym przepływ sterowania usługi Data Factory i przepływ danych w tym samym potoku co zadania platformy Spark.
Obsługa potoku danych dla wyzwalaczy sterowanych zdarzeniami
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Typowym przypadkiem użycia wywoływania potoków danych usługi Data Factory jest wyzwalanie potoku po zdarzeniach plików, takich jak przybycie pliku i usuwanie plików. W przypadku klientów pochodzących z usług ADF lub Synapse do sieci szkieletowej użycie zdarzeń magazynu usługi ADLS/blogów jest bardzo powszechne jako sposób sygnału dla nowego wykonania potoku lub przechwytywania nazw utworzonych plików. Wyzwalacze w usłudze Fabric Data Factory wykorzystują możliwości platformy sieci szkieletowej, w tym wyzwalacze EventStreams i Refleks. Wewnątrz kanwy projektu potoku usługi Fabric Data Factory będzie dostępny przycisk Wyzwalacz, który można nacisnąć, aby utworzyć wyzwalacz refleksu dla potoku lub utworzyć wyzwalacz bezpośrednio z poziomu środowiska aktywowania danych.
Domyślne ustawienia przejściowe dla miejsca docelowego wyjściowego przepływu danych 2. generacji
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Usługa Dataflow Gen2 zapewnia możliwości pozyskiwania danych z szerokiego zakresu źródeł danych do usługi Fabric OneLake. W przypadku przemieszczania tych danych można je przekształcić na dużą skalę przy użyciu aparatu Dataflows Gen2 o dużej skali (opartego na obliczeniach SQL usługi Fabric Lakehouse/Warehouse).
Domyślnym zachowaniem dla przepływów danych Gen2 jest przygotowanie danych w usłudze OneLake w celu włączenia przekształceń danych na dużą skalę. Chociaż działa to świetnie w przypadku scenariuszy o dużej skali, nie działa tak dobrze w scenariuszach obejmujących pozyskiwanie małych ilości danych, biorąc pod uwagę, że wprowadza dodatkowy przeskok (przejściowy) dla danych, zanim ostatecznie zostanie załadowany do miejsca docelowego przepływu danych wyjściowych.
Dzięki zaplanowanym ulepszeniom dostrajamy domyślne zachowanie przejściowe, które ma zostać wyłączone, w przypadku zapytań z miejscem docelowym danych wyjściowych, które nie wymaga przemieszczania (czyli usługi Fabric Lakehouse i Azure SQL Database).
Zachowanie przejściowe można skonfigurować ręcznie dla poszczególnych zapytań za pośrednictwem okienka Ustawienia zapytania lub menu kontekstowego zapytania w okienku Zapytania.
Obsługa potoku danych dla usługi Azure HDInsight
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
HDInsight to usługa PaaS platformy Azure dla platformy Hadoop, która umożliwia deweloperom tworzenie bardzo zaawansowanych rozwiązań do obsługi danych big data w chmurze. Nowe działanie potoku usługi HDI umożliwi działania zadań usługi HDInsights wewnątrz potoków danych usługi Data Factory podobne do istniejącej funkcji, które zostały włączone przez lata w potokach usług ADF i Synapse. Teraz ta funkcja została przeniesiona bezpośrednio do potoków danych sieci szkieletowej.
Nowe łączniki dla działania kopiowania
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Nowe łączniki zostaną dodane do działanie Kopiuj, aby umożliwić klientowi pozyskiwanie z następujących źródeł przy użyciu potoku danych: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Zadanie przepływu powietrza apache: tworzenie potoków danych obsługiwanych przez platformę Apache Airflow
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Zadanie platformy Apache Airflow (wcześniej nazywane przepływami pracy danych) jest obsługiwane przez platformę Apache Airflow i oferuje zintegrowane środowisko uruchomieniowe apache Airflow, co umożliwia łatwe tworzenie, wykonywanie i planowanie grup DAG języka Python.
Zarządzanie tożsamościami źródła danych (SPN)
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Jednostka usługi — aby uzyskać dostęp do zasobów zabezpieczonych przez dzierżawę usługi Azure AD, jednostka, która wymaga dostępu, musi być reprezentowana przez jednostkę zabezpieczeń. Połączenie ze źródłami danych będzie możliwe za pomocą jednostki usługi.
Integracja usługi Data Factory z usługą Git dla potoków danych
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Możesz połączyć się z repozytorium Git, aby tworzyć potoki danych w sposób współpracy. Integracja potoków danych z funkcją zarządzania cyklem życia aplikacji (ALM) platformy Fabric umożliwia kontrolę wersji, rozgałęzianie, zatwierdzenia i żądania ściągnięcia.
Ulepszenia miejsc docelowych danych wyjściowych w przepływie danych Gen2 (schemat zapytania)
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Ulepszamy miejsca docelowe danych wyjściowych w usłudze Dataflow Gen2 przy użyciu następujących wysoce żądanych możliwości:
- Możliwość obsługi zmian schematu zapytania po skonfigurowaniu miejsca docelowego danych wyjściowych.
- Domyślne ustawienia docelowe przyspieszające tworzenie przepływów danych.
Aby dowiedzieć się więcej, zobacz Dataflow Gen2 data destinations and managed settings (Miejsca docelowe danych przepływu danych gen2 i ustawienia zarządzane)
Uzyskiwanie ulepszeń środowiska danych (Przeglądanie zasobów platformy Azure)
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Przeglądanie zasobów platformy Azure zapewnia bezproblemową nawigację w celu przeglądania zasobów platformy Azure. Możesz łatwo nawigować po subskrypcjach platformy Azure i łączyć się ze źródłami danych za pomocą intuicyjnego interfejsu użytkownika. Ułatwia szybkie znajdowanie potrzebnych danych i łączenie się z nimi.
Obsługa lokalnej bramy danych (OPDG) dodana do potoków danych
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Ta funkcja umożliwia potokom danych używanie bram danych sieci szkieletowej do uzyskiwania dostępu do danych lokalnych i za siecią wirtualną. W przypadku użytkowników korzystających z własnych środowisk Integration Runtime (SHIR) będą mogli przejść do lokalnych bram danych w sieci szkieletowej.
Obsługa szybkiego kopiowania w przepływie danych Gen2
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę pozyskiwania danych na dużą skalę bezpośrednio w środowisku usługi Dataflow Gen2, korzystając z możliwości działania kopiowania potoków. Obsługuje to źródła takich baz danych Azure SQL Database, CSV i Parquet w usługach Azure Data Lake Storage i Blob Storage.
To ulepszenie znacznie skaluje w górę pojemność przetwarzania danych w usłudze Dataflow Gen2, zapewniając możliwości ELT (Extract-Load-Transform).
Anulowanie obsługi odświeżania w usłudze Dataflow Gen2
Wysłane (Q4 2023)
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę anulowania trwających odświeżeń przepływu danych Gen2 z widoku elementów obszaru roboczego.