Środowisko uruchomieniowe sieci szkieletowej 1.1 (EOSA)
Środowisko Uruchomieniowe usługi Microsoft Fabric to zintegrowana z platformą Azure platforma oparta na platformie Apache Spark, która umożliwia wykonywanie i zarządzanie inżynierowie danych oraz Nauka o danych środowiska w usłudze Fabric. W tym dokumencie opisano składniki i wersje środowiska Fabric Runtime 1.1.
Ostrzeżenie
Data zakończenia wsparcia dla środowiska Uruchomieniowego 1.1 została ogłoszona 12 lipca 2024 r. Środowisko uruchomieniowe 1.1 oparte na platformie Apache Spark 3.3 zostanie wycofane i wyłączone od 31 marca 2025 r. Uaktualnij obszar roboczy i środowiska do środowiska Runtime 1.2 lub Runtime 1.3. Aby uzyskać pełny cykl życia i zasady pomocy technicznej dla środowisk uruchomieniowych platformy Apache Spark w sieci szkieletowej, zobacz Cykl życia środowisk uruchomieniowych platformy Apache Spark w sieci szkieletowej.
Środowisko Microsoft Fabric Runtime 1.1 jest jednym ze środowisk uruchomieniowych oferowanych na platformie Microsoft Fabric. Główne składniki środowiska uruchomieniowego 1.1 to:
- Apache Spark 3.3
- System operacyjny: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Napiwek
Zawsze używaj najnowszej, ogólnie dostępnej wersji środowiska uruchomieniowego dla obciążenia produkcyjnego, który jest obecnie środowiskiem uruchomieniowym 1.3.
Środowisko Microsoft Fabric Runtime 1.1 zawiera kolekcję pakietów na poziomie domyślnym, w tym pełną instalację platformy Anaconda i powszechnie używane biblioteki dla języków Java/Scala, Python i R. Te biblioteki są automatycznie dołączane podczas korzystania z notesów lub zadań na platformie Microsoft Fabric. Zapoznaj się z dokumentacją, aby uzyskać pełną listę bibliotek.
Usługa Microsoft Fabric okresowo publikuje aktualizacje konserwacji środowiska Uruchomieniowego 1.1, dostarczając poprawki błędów, ulepszenia wydajności i poprawki zabezpieczeń. Zapewnienie aktualności tych aktualizacji gwarantuje optymalną wydajność i niezawodność zadań przetwarzania danych. Jeśli obecnie używasz środowiska Uruchomieniowego 1.1, możesz przeprowadzić uaktualnienie do środowiska Runtime 1.3 lub środowiska uruchomieniowego 1.2, przechodząc do obszaru roboczego Ustawienia > inżynierowie danych / Środowisko ustawień > środowiska Science > Spark.
Nowe funkcje i ulepszenia — Apache Spark 3.3.1
Przeczytaj pełną wersję informacji o wersji dla określonej wersji platformy Apache Spark, odwiedzając platformę Spark 3.3.0 i platformę Spark 3.3.1.
Nowe funkcje i ulepszenia — Delta Lake 2.2
Sprawdź informacje o wersji źródłowej i pełnej w usłudze Delta Lake 2.2.0.
Pakiety na poziomie domyślnym dla języka Java/Scala
Aby uzyskać listę wszystkich pakietów na poziomie domyślnym dla języków Java, Scala, Python i ich odpowiednich wersji, zobacz informacje o wersji.
Migracja między różnymi wersjami platformy Apache Spark
Migrowanie obciążeń do środowiska Fabric Runtime 1.1 (Apache Spark 3.3) ze starszej wersji platformy Apache Spark obejmuje szereg kroków zapewniających bezproblemową migrację. W tym przewodniku opisano niezbędne kroki ułatwiające efektywne i efektywne migrowanie.
Przejrzyj informacje o wersji środowiska Fabric Runtime 1.1, w tym sprawdzanie składników i pakietów na poziomie domyślnym zawartych w środowisku uruchomieniowym, aby zrozumieć nowe funkcje i ulepszenia.
Sprawdź zgodność bieżącej konfiguracji i wszystkich powiązanych bibliotek, w tym zależności i integracji. Przejrzyj przewodniki migracji, aby zidentyfikować potencjalne zmiany powodujące niezgodność:
- Zapoznaj się z przewodnikiem migracji platformy Spark Core.
- Zapoznaj się z przewodnikiem migracji sql, zestawów danych i ramek danych.
- Jeśli Twoje rozwiązanie jest związane ze przesyłaniem strumieniowym struktury platformy Apache Spark, zapoznaj się z przewodnikiem migracji przesyłania strumieniowego ze strukturą.
- Jeśli używasz programu PySpark, zapoznaj się z przewodnikiem po migracji Pyspark.
- Jeśli przeprowadzisz migrację kodu z platformy Koalas do rozwiązania PySpark, zapoznaj się z przewodnikiem po migracji interfejsu API biblioteki Pandas do biblioteki Pandas na platformie Spark.
Przenieś obciążenia do sieci szkieletowej i upewnij się, że masz kopie zapasowe plików danych i konfiguracji, jeśli musisz przywrócić poprzednią wersję.
Zaktualizuj wszelkie zależności, które mogą mieć wpływ na nową wersję platformy Apache Spark lub innych składników pokrewnych środowiska Fabric Runtime 1.1, w tym biblioteki lub łączniki innych firm. Przed wdrożeniem w środowisku produkcyjnym upewnij się, że zaktualizowane zależności zostały przetestowane w środowisku przejściowym.
Zaktualizuj konfigurację platformy Apache Spark w obciążeniu, w tym aktualizowanie ustawień konfiguracji, dostosowywanie alokacji pamięci i modyfikowanie wszelkich przestarzałych konfiguracji.
Zmodyfikuj aplikacje platformy Apache Spark (notesy i definicje zadań platformy Apache Spark), aby używać nowych interfejsów API i funkcji wprowadzonych w środowisku Fabric Runtime 1.1 i apache Spark 3.3. Może być konieczne zaktualizowanie kodu w celu uwzględnienia wszystkich przestarzałych lub usuniętych interfejsów API oraz refaktoryzacji aplikacji w celu skorzystania z ulepszeń wydajności i nowych funkcji.
Dokładnie przetestuj zaktualizowane aplikacje w środowisku przejściowym, aby zapewnić zgodność i stabilność z platformą Apache Spark 3.3. Przeprowadź testowanie wydajnościowe, testowanie funkcjonalne i testowanie regresji, aby zidentyfikować i rozwiązać wszelkie problemy, które mogą wystąpić podczas procesu migracji.
Po zweryfikowaniu aplikacji w środowisku przejściowym wdróż zaktualizowane aplikacje w środowisku produkcyjnym. Monitoruj wydajność i stabilność aplikacji po migracji, aby zidentyfikować wszelkie problemy, które należy rozwiązać.
Zaktualizuj wewnętrzną dokumentację i materiały szkoleniowe, aby odzwierciedlić zmiany wprowadzone w środowisku Fabric Runtime 1.1. Upewnij się, że członkowie zespołu znają nowe funkcje i ulepszenia, aby zmaksymalizować korzyści wynikające z migracji.