Co to jest lakehouse w platformie Microsoft Fabric?
Microsoft Fabric Lakehouse to platforma architektury danych do przechowywania danych, zarządzania nimi i analizowania danych ustrukturyzowanych i nieustrukturyzowanych w jednej lokalizacji. Jest to elastyczne i skalowalne rozwiązanie, które umożliwia organizacjom obsługę dużych ilości danych przy użyciu różnych narzędzi i struktur do przetwarzania i analizowania tych danych. Integruje się z innymi narzędziami do zarządzania danymi i analizy w celu zapewnienia kompleksowego rozwiązania do inżynierii danych i analizy. Usługa Lakehouse łączy skalowalność magazynu danych z wydajnością i strukturą magazynu danych, zapewniając ujednoliconą platformę do magazynowania danych, zarządzania i analizy.
Punkt końcowy analizy SQL usługi Lakehouse
Usługa Lakehouse tworzy warstwę obsługi, automatycznie generując punkt końcowy analizy SQL i domyślny model semantyczny podczas tworzenia. Ta nowa przezroczysta funkcjonalność umożliwia użytkownikowi pracę bezpośrednio nad tabelami Delta w jeziorze, oferując płynne i wydajne doświadczenie od pozyskiwania danych aż do raportowania.
Należy pamiętać, że punkt końcowy analizy SQL jest środowiskiem tylko do odczytu i nie obsługuje pełnego obszaru powierzchni języka T-SQL transakcyjnego magazynu danych.
Notatka
Tylko tabele w formacie delta są dostępne w punkcie końcowym analizy SQL. Nie można wykonywać zapytań na Parquet, CSV i innych formatów przy użyciu punktu końcowego analizy SQL. Jeśli tabela nie jest widoczna, musisz przekonwertować ją na format delta.
Automatyczne odnajdywanie i rejestrowanie tabel
Automatyczne odnajdywanie i rejestrowanie tabel to funkcja usługi Lakehouse, która zapewnia w pełni zarządzane doświadczenie przekształcania plików w tabele dla inżynierów danych i naukowców danych. Plik można upuszczać w zarządzanym obszarze Lakehouse, a system automatycznie weryfikuje go pod kątem obsługiwanych formatów strukturalnych i rejestruje w metastore z wymaganymi metadanymi, takimi jak nazwy kolumn, formaty, kompresja, i inne. (Obecnie jedynym obsługiwanym formatem jest tabela delty). Następnie możesz odwołać się do pliku jako tabeli i użyć składni SparkSQL do interakcji z danymi.
Interakcja z elementem Lakehouse
Inżynier danych może wchodzić w interakcje z usługą Lakehouse i danymi w usłudze Lakehouse na kilka sposobów:
Eksplorator Lakehouse: Eksplorator jest główną stroną interakcji Lakehouse. Możesz załadować dane do usługi Lakehouse, eksplorować dane w usłudze Lakehouse przy użyciu eksploratora obiektów, ustawiać etykiety MIP & i wykonywać różne inne rzeczy. Dowiedz się więcej o środowisku eksploratora: Nawigacja w eksploratorze Fabric Lakehouse.
Notebooks: inżynierowie danych mogą użyć notesu do pisania kodu w celu odczytu, przekształcania i zapisywania bezpośrednio w usłudze Lakehouse jako tabel i/lub folderów. Aby dowiedzieć się więcej na temat używania notesów dla usługi Lakehouse: Eksploruj dane w usłudze Lakehouse przy użyciu notesu i Jak używać notesu do ładowania danych do usługi Lakehouse.
pl-PL: Pipelines: Inżynierowie danych mogą używać narzędzi do integracji danych, takich jak narzędzie do kopiowania danych, aby pobierać dane z innych źródeł i umieszczać je w Lakehouse. Więcej informacji na temat korzystania z działania kopiowania: Jak kopiować dane przy użyciu działania kopiowania.
definicje zadań platformy Apache Spark: inżynierowie danych mogą tworzyć niezawodne aplikacje i organizować wykonywanie skompilowanych zadań platformy Spark w językach Java, Scala i Python. Dowiedz się więcej o zadaniach platformy Spark: Co to jest definicja zadania platformy Apache Spark?
Przepływy danych Gen 2: inżynierowie danych mogą pozyskiwać i przygotowywać dane przy użyciu przepływów danych Gen 2. generacji. Dowiedz się więcej na temat ładowania danych przy użyciu przepływów danych: Tworzenie pierwszego przepływu danych w celu pobrania i przekształcenia danych.
Dowiedz się więcej o różnych sposobach ładowania danych do usługi Lakehouse: Opcje pobierania danych do usługi Fabric Lakehouse.
Wielozadaniowość z lakehouse
Środowisko wielozadaniowości udostępnia projekt karty przeglądarki, który umożliwia bezproblemowe otwieranie i przełączanie się między wieloma elementami, dzięki czemu można wydajniej zarządzać usługą Data Lakehouse niż kiedykolwiek wcześniej. Nie ma więcej żonglowania między różnymi oknami lub utratą śledzenia zadań. Usługa Lakehouse zapewnia ulepszone środowisko wielozadaniowości, które pozwala na jak najbardziej wydajne i przyjazne dla użytkownika środowisko zarządzania danymi dzięki następującym funkcjom:
pl-PL: Zachowaj uruchomione operacje: Możesz przesłać lub uruchomić operację ładowania danych na jednej karcie i sprawdzić inne zadanie na innej karcie. Dzięki ulepszonemu wielozadaniowości, uruchomione operacje nie są anulowane podczas nawigacji między kartami. Możesz skupić się na pracy bez przerw.
Zachowaj kontekst: Wybrane obiekty, tabele danych lub pliki pozostają otwarte i łatwo dostępne podczas przełączania się między kartami. Kontekst usługi Data Lakehouse jest zawsze na wyciągnięcie ręki.
Niedefekujące ponowne ładowanie listy: Mechanizm nieblokującego ponownego ładowania plików i tabel. Możesz pracować, podczas gdy lista odświeża się w tle. Zapewnia to, że masz najnowsze dane, zapewniając bezproblemowe i nieprzerwane działanie.
pl-PL: Wyraźnie zdefiniowane powiadomienia: Wyskakujące powiadomienia określają, z którego lakehouse pochodzą, co ułatwia śledzenie zmian i aktualizacji w środowisku wielozadaniowym.
Projekt dostępnego domku nad jeziorem
Ułatwienia dostępu zawsze były priorytetem, aby zapewnić, że usługa Lakehouse jest inkluzywna i przyjazna dla wszystkich użytkowników. Poniżej przedstawiono najważniejsze inicjatywy, które wdrożyliśmy do tej pory w celu wspierania ułatwień dostępu:
Zgodność czytnika ekranowego: Możesz bezproblemowo pracować z popularnymi czytnikami ekranowymi, umożliwiając osobom z wadami wzroku efektywne nawigowanie po naszej platformie i interakcję z nią.
Przepływ tekstu Projekt responsywny, który dostosowuje się do różnych rozmiarów i orientacji ekranu. Dynamiczne przepływy tekstu i zawartości ułatwiają użytkownikom wyświetlanie i interakcję z naszą aplikacją na różnych urządzeniach.
pl-PL: Nawigacja za pomocą klawiatury: Ulepszona nawigacja klawiaturowa umożliwia użytkownikom poruszanie się po platformie Lakehouse bez polegania na myszki, co poprawia komfort użytkowania dla osób z niepełnosprawnościami ruchowymi.
Tekst alternatywny dla obrazów: Wszystkie obrazy zawierają teraz opisowy tekst alternatywny, dzięki czemu czytniki zawartości ekranu mogą przekazywać istotne informacje.
Pola formularza i etykiety: Wszystkie pola formularza mają skojarzone etykiety, upraszczając wprowadzanie danych dla wszystkich użytkowników, w tym tych, którzy używają czytników ekranowych.
Powiązana zawartość
W tym omówieniu uzyskasz podstawową wiedzę na temat jeziora. Przejdź do następnego artykułu, aby dowiedzieć się, jak tworzyć własne jezioro i korzystać z niego:
- Aby rozpocząć korzystanie z lakehouse, zobacz Tworzenie lakehouse w Microsoft Fabric.