Co nowego i planowanego dla usługi Fabric inżynierowie danych w usłudze Microsoft Fabric
Ważne
Plany wydania opisują funkcje, które mogą lub nie zostały jeszcze wydane. Harmonogramy dostarczania i przewidywane funkcje mogą ulec zmianie lub nie mogą być dostarczane. Aby uzyskać więcej informacji, zapoznaj się z zasadami firmy Microsoft.
Sieć szkieletowa inżynierowie danych umożliwia inżynierom danych przekształcanie danych na dużą skalę przy użyciu platformy Spark i tworzenie architektury lakehouse.
Usługa Lakehouse dla wszystkich danych organizacji: usługa Lakehouse łączy najlepsze rozwiązania typu data lake i magazyn danych w jednym środowisku. Umożliwia użytkownikom pozyskiwanie, przygotowywanie i udostępnianie danych organizacyjnych w otwartym formacie w jeziorze. Później możesz uzyskać do niego dostęp za pośrednictwem wielu aparatów, takich jak Spark, T-SQL i Power BI. Udostępnia ona różne opcje integracji danych, takie jak przepływy danych i potoki, skróty do zewnętrznych źródeł danych i możliwości udostępniania produktów danych.
Wydajny aparat spark i środowisko uruchomieniowe: inżynieria danych sieci szkieletowej zapewnia klientom zoptymalizowane środowisko uruchomieniowe platformy Spark z najnowszymi wersjami platform Spark, delta i Python. Używa usługi Delta Lake jako wspólnego formatu tabeli dla wszystkich aparatów, umożliwiając łatwe udostępnianie i raportowanie danych bez przenoszenia danych. Środowisko uruchomieniowe zawiera optymalizacje platformy Spark, zwiększając wydajność zapytań bez żadnych konfiguracji. Oferuje również pule początkowe i tryb wysokiej współbieżności w celu przyspieszenia i ponownego użycia sesji platformy Spark, co pozwala zaoszczędzić czas i koszty.
Administratorzy i konfiguracje platformy Spark: administratorzy obszaru roboczego z odpowiednimi uprawnieniami mogą tworzyć i konfigurować pule niestandardowe w celu zoptymalizowania wydajności i kosztów obciążeń platformy Spark. Twórcy mogą konfigurować środowiska do instalowania bibliotek, wybierania wersji środowiska uruchomieniowego i ustawiania właściwości platformy Spark dla notesów i zadań platformy Spark.
Środowisko deweloperskie: Deweloperzy mogą używać notesów, zadań platformy Spark lub preferowanego środowiska IDE do tworzenia i wykonywania kodu platformy Spark w usłudze Fabric. Mogą oni natywnie uzyskiwać dostęp do danych typu lakehouse, współpracować z innymi osobami, instalować biblioteki, śledzić historię, wykonywać monitorowanie wbudowane i uzyskiwać zalecenia od doradcy platformy Spark. Mogą również używać narzędzia Data Wrangler do łatwego przygotowywania danych przy użyciu interfejsu użytkownika o niskim kodzie.
Integracja platformy: wszystkie elementy inżynierii danych sieci szkieletowej, w tym notesy, zadania platformy Spark, środowiska i magazyny lakehouse, są ściśle zintegrowane z platformą Fabric (możliwości zarządzania informacjami w przedsiębiorstwie, pochodzeniem, etykietami poufności i zatwierdzeniami).
Obszary inwestycyjne
Notes języka Python
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Notesy sieci szkieletowej obsługują czyste środowisko języka Python. To nowe rozwiązanie jest przeznaczone dla deweloperów analizy biznesowej i badacze dancyh pracy z mniejszymi zestawami danych (do kilku GB) i używaniem bibliotek Pandas i Python jako języka podstawowego. Dzięki temu nowemu środowisku będą mogli korzystać z natywnego języka Python i jego natywnych funkcji i bibliotek poza tym, będzie można przełączyć się z wersji języka Python na inną (początkowo dwie wersje będą obsługiwane), a na koniec skorzysta z lepszego wykorzystania zasobów przy użyciu mniejszej maszyny z 2 rdzeniami wirtualnymi.
ArcGIS GeoAnalytics for Microsoft Fabric Spark
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Firma Microsoft i firma Esri nawiązali współpracowali w celu wprowadzenia analizy przestrzennej do usługi Microsoft Fabric. Ta współpraca wprowadza nową bibliotekę ArcGIS GeoAnalytics for Microsoft Fabric, umożliwiając obszerny zestaw analiz przestrzennych bezpośrednio w notesach platformy Microsoft Fabric Spark i definicjach zadań platformy Spark (zarówno w środowiskach inżynierowie danych, jak i Nauka o danych środowiskach/obciążeniach).
To zintegrowane środowisko produktu umożliwia deweloperom platformy Spark lub analitykom danych natywne korzystanie z funkcji i narzędzi GeoAnalytics arcGIS w ramach platformy Fabric Spark w celu przekształcania przestrzennego, wzbogacania i analizy trendów danych — nawet danych big data — w różnych przypadkach użycia bez konieczności oddzielnej instalacji i konfiguracji.
Instalowanie bibliotek z konta magazynu usługi ADLS Gen2
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Obsługa nowego źródła dla użytkowników w celu zainstalowania bibliotek. Tworząc niestandardowy kanał conda/PyPI, który jest hostowany na swoim koncie magazynu, użytkownicy mogą instalować biblioteki ze swojego konta magazynu w środowiskach sieci szkieletowej.
Przechowywanie wersji notesu na żywo
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
W przypadku tworzenia wersji na żywo deweloperzy notesu usługi Fabric mogą śledzić historię zmian wprowadzonych w notesach, porównać różne wierzchołki i przywrócić poprzednie wersje w razie potrzeby.
Rozszerzenie satelitarne programu VSCode dla funkcji danych użytkownika w sieci szkieletowej
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Rozszerzenie satelitarne programu VSCode dla funkcji danych użytkownika zapewni obsługę deweloperów (edytowanie, kompilowanie, debugowanie, publikowanie) dla funkcji danych użytkownika w sieci szkieletowej.
Funkcje danych użytkownika w sieci szkieletowej
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Funkcje danych użytkownika udostępniają zaawansowany mechanizm implementowania i ponownego używania niestandardowej, wyspecjalizowanej logiki biznesowej w przepływach pracy analizy danych i inżynierii danych w sieci Szkieletowej, zwiększając wydajność i elastyczność.
Publiczne interfejsy API monitorowania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Funkcja interfejsu API monitorowania publicznego dla usługi Fabric Spark ma na celu uwidocznienie interfejsów API monitorowania platformy Spark, co umożliwia użytkownikom monitorowanie postępu zadań platformy Spark, wyświetlanie zadań wykonywania i programowe uzyskiwanie dostępu do dzienników. Ta funkcja jest zgodna ze standardami publicznego interfejsu API, zapewniając bezproblemowe monitorowanie aplikacji platformy Spark.
Metadane skrótów usługi Lakehouse w potokach git i wdrażania
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Aby zapewnić atrakcyjny scenariusz zarządzania cyklem życia aplikacji, konieczne jest śledzenie metadanych obiektów w usłudze Git i obsługa potoków wdrażania. W modułach inżynierowie danych, ponieważ obszary robocze są zintegrowane z usługą Git.
W tej pierwszej iteracji skróty OneLake zostaną automatycznie wdrożone na etapach potoku i obszarach roboczych. Połączenia skrótów można ponownie mapować na etapy przy użyciu nowego elementu usługi Microsoft Fabric o nazwie biblioteka zmiennych, zapewniając odpowiednią izolację i oczekiwaną segmentację środowiska.
Ulepszenia usługi Delta Lake w środowiskach platformy Spark
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Posiadanie odpowiednich wartości domyślnych i dostosowanie do najnowszych standardów ma największe znaczenie dla standardów usługi Delta Lake w usłudze Microsoft Fabric. INT64 będzie nowym domyślnym typem kodowania dla wszystkich wartości znacznika czasu. To odchodzi od kodowania INT96, które apache Parquet przestarzałe lata temu. Zmiany nie mają wpływu na żadne możliwości odczytu, są domyślnie przezroczyste i zgodne, ale zapewniają, że wszystkie nowe pliki parquet w tabeli usługi Delta Lake są zapisywane w bardziej wydajny i przyszły sposób weryfikacji.
Udostępniamy również szybszą implementację polecenia OPTIMIZE, dzięki czemu pomija już pliki uporządkowane w wersji wirtualnej.
Obsługa migawek zadań notesu w toku
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Ta funkcja umożliwia użytkownikom wyświetlanie migawki notesu, gdy jest ona nadal uruchomiona, co jest niezbędne do monitorowania postępu i rozwiązywania problemów z wydajnością. Użytkownicy mogą zobaczyć oryginalny kod źródłowy, parametry wejściowe i dane wyjściowe komórek, aby lepiej zrozumieć zadanie platformy Spark i śledzić postęp wykonywania platformy Spark na poziomie komórki. Użytkownicy mogą również przejrzeć dane wyjściowe ukończonych komórek, aby zweryfikować dokładność aplikacji Spark i oszacować pozostałą pracę. Ponadto są wyświetlane wszelkie błędy lub wyjątki od już wykonanych komórek, pomagając użytkownikom wcześnie identyfikować i rozwiązywać problemy.
Obsługa zabezpieczeń na poziomie wiersza/CLS dla platform Spark i Lakehouse
Szacowana oś czasu wydania: Q1 2025
Typ wydania: publiczna wersja zapoznawcza
Ta funkcja umożliwia użytkownikom implementowanie zasad zabezpieczeń na potrzeby dostępu do danych w aucie Spark. Użytkownicy mogą definiować zabezpieczenia na poziomie obiektu, wiersza lub kolumny, zapewniając, że dane są zabezpieczone zgodnie z tymi zasadami w przypadku uzyskiwania dostępu za pośrednictwem platformy Spark sieci szkieletowej i są zgodne z inicjatywą OneSecurity włączoną w usłudze Microsoft Fabric.
Łącznik Spark dla magazynu danych sieci szkieletowej — ogólna dostępność
Szacowana oś czasu wydania: Q1 2025
Typ wydania: ogólna dostępność
Łącznik Spark dla usługi Microsoft Fabric Data Warehouse umożliwia deweloperom platformy Spark i analitykom danych uzyskiwanie dostępu do danych z magazynu i punktu końcowego analizy SQL w usłudze Lakehouse oraz pracę z nimi. Oferuje on uproszczony interfejs API platformy Spark, abstrakcję podstawowej złożoności i działa przy użyciu tylko jednego wiersza kodu, jednocześnie zachowując modele zabezpieczeń, takie jak zabezpieczenia na poziomie obiektu (OLS), zabezpieczenia na poziomie wiersza i zabezpieczenia na poziomie kolumny (CLS).
Dostarczane funkcje
Możliwość sortowania i filtrowania tabel i folderów w usłudze Lakehouse
Wysłane (Q4 2024)
Typ wydania: ogólna dostępność
Ta funkcja umożliwia klientom sortowanie i filtrowanie tabel i folderów w usłudze Lakehouse za pomocą kilku różnych metod, w tym alfabetycznie, daty utworzenia i nie tylko.
Notesy w aplikacji
Wysłane (Q4 2024)
Typ wydania: publiczna wersja zapoznawcza
Aplikacje organizacji są dostępne jako nowy element w usłudze Fabric i można dołączać notesy wraz z raportami i pulpitami nawigacyjnymi usługi Power BI w aplikacjach sieci Szkieletowej i dystrybuować je do użytkowników biznesowych. Użytkownicy aplikacji mogą korzystać z widżetów i wizualizacji w notesie jako alternatywnego mechanizmu raportowania i eksploracji danych. Dzięki temu możesz tworzyć i udostępniać rozbudowane i angażujące historie swoim danym.
Rozszerzenie VSCode Core dla sieci szkieletowej
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Podstawowe rozszerzenie PROGRAMU VSCode dla sieci szkieletowej zapewni wspólną obsługę deweloperów dla usług sieci Szkieletowej.
Notes języka T-SQL
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Notesy sieci szkieletowej obsługują język T-SQL do korzystania z danych w usłudze Data Warehouse. Dodając punkt końcowy usługi Data Warehouse lub SQL Analytics do notesu, deweloperzy języka T-SQL mogą uruchamiać zapytania bezpośrednio w połączonym punkcie końcowym. Analitycy analizy biznesowej mogą również wykonywać zapytania obejmujące wiele baz danych w celu zbierania szczegółowych informacji z wielu magazynów i punktów końcowych analizy SQL. Notesy języka T-SQL oferują doskonałą alternatywę dla istniejących narzędzi dla użytkowników sql i obejmują funkcje natywne sieci Szkieletowej, takie jak udostępnianie, integracja z usługą GIT i współpraca.
Program VS Code dla sieci Web — obsługa debugowania
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Program Visual Studio Code dla sieci Web jest obecnie obsługiwany w wersji zapoznawczej na potrzeby scenariuszy tworzenia i wykonywania. Dodajemy do listy możliwości debugowania kodu przy użyciu tego rozszerzenia dla notesu.
Wysoka współbieżność w potokach
Wysłane (Q3 2024)
Typ wydania: ogólna dostępność
Oprócz wysokiej współbieżności w notesach włączymy również wysoką współbieżność w potokach. Ta funkcja umożliwia uruchamianie wielu notesów w potoku z jedną sesją.
Obsługa schematu i obszar roboczy w przestrzeni nazw w usłudze Lakehouse
Wysłane (Q3 2024)
Typ wydania: publiczna wersja zapoznawcza
Umożliwi to organizowanie tabel przy użyciu schematów i wykonywania zapytań dotyczących danych między obszarami roboczymi.
Aparat wykonywania natywnego platformy Spark
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Natywny aparat wykonywania to przełomowe rozszerzenie wykonywania zadań platformy Apache Spark w usłudze Microsoft Fabric. Ten wektoryzowany aparat optymalizuje wydajność i wydajność zapytań platformy Spark, uruchamiając je bezpośrednio w infrastrukturze typu lakehouse. Bezproblemowa integracja aparatu oznacza, że nie wymaga modyfikacji kodu i unika blokady dostawcy. Obsługuje ona interfejsy API platformy Apache Spark i jest zgodna ze środowiskiem Uruchomieniowym 1.2 (Spark 3.4) i współpracuje zarówno z formatami Parquet, jak i Delta. Niezależnie od lokalizacji danych w usłudze OneLake lub w przypadku uzyskiwania dostępu do danych za pomocą skrótów aparat wykonywania natywnego maksymalizuje wydajność i wydajność
Łącznik Spark dla magazynu danych sieci szkieletowej
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Łącznik Spark connector for Fabric DW (Data Warehouse) umożliwia deweloperowi platformy Spark lub analitykowi danych uzyskiwanie dostępu do danych z magazynu danych sieci szkieletowej i pracę z uproszczonym interfejsem API platformy Spark, który dosłownie współpracuje z tylko jednym wierszem kodu. Umożliwia ona równoległe wykonywanie zapytań dotyczących danych z magazynu danych sieci Szkieletowej w celu skalowania przy użyciu rosnącego woluminu danych i honorowania modelu zabezpieczeń (OLS/RLS/CLS) zdefiniowanego na poziomie magazynu danych podczas uzyskiwania dostępu do tabeli lub widoku. Ta pierwsza wersja będzie obsługiwać tylko odczytywanie danych, a obsługa zapisywania danych z powrotem będzie dostępna wkrótce.
Interfejs API usługi Microsoft Fabric dla języka GraphQL
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Interfejs API dla języka GraphQL umożliwi inżynierom danych sieci szkieletowej, naukowcom, architektom rozwiązań danych bezproblemowe uwidacznianie i integrowanie danych sieci Szkieletowej, aby uzyskać bardziej dynamiczne, wydajne i bogate aplikacje analityczne, wykorzystując możliwości i elastyczność języka GraphQL.
Tworzenie i dołączanie środowisk
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Aby dostosować środowiska platformy Spark na bardziej szczegółowym poziomie, możesz tworzyć i dołączać środowiska do notesów i zadań platformy Spark. W środowisku można instalować biblioteki, konfigurować nową pulę, ustawiać właściwości platformy Spark i przekazywać skrypty do systemu plików. Zapewnia to większą elastyczność i kontrolę nad obciążeniami platformy Spark bez wpływu na domyślne ustawienia obszaru roboczego. W ramach ogólnie dostępnej wersji wprowadzamy różne ulepszenia środowisk, w tym obsługę interfejsu API i integrację ciągłej integracji/ciągłego wdrażania.
Kolejkowanie zadań dla zadań notesu
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Ta funkcja umożliwia kolejkę zaplanowanych notesów platformy Spark, gdy użycie platformy Spark wynosi maksymalną liczbę zadań, które można wykonać równolegle, a następnie wykonywanie po usunięciu użycia z powrotem poniżej maksymalnej dozwolonej liczby zadań równoległych.
Optymistyczne przyjęcie zadania dla platformy Spark w sieci szkieletowej
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
W przypadku optymistycznego przyjęcia zadania platforma Spark w sieci szkieletowej rezerwuje tylko minimalną liczbę rdzeni, które należy uruchomić, na podstawie minimalnej liczby węzłów, do których zadanie może być skalowane w dół. Dzięki temu można przyznać więcej zadań, jeśli istnieje wystarczająca ilość zasobów, aby spełnić minimalne wymagania. Jeśli zadanie musi zostać przeskalowane w górę później, żądania skalowania w górę zostaną zatwierdzone lub odrzucone na podstawie dostępnych rdzeni w pojemności.
Automatyczne dostrajenie platformy Spark
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Autotune używa uczenia maszynowego do automatycznego analizowania poprzednich przebiegów zadań platformy Spark i dostrajania konfiguracji w celu zoptymalizowania wydajności. Konfiguruje sposób partycjonowania, dołączania i odczytywania danych przez platformę Spark. W ten sposób znacznie poprawi wydajność. Zauważyliśmy, że zadania klientów są uruchamiane 2 razy szybciej dzięki tej możliwości.