Omówienie pojęć związanych z bazą danych lake
W tradycyjnej relacyjnej bazie danych schemat bazy danych składa się z tabel, widoków i innych obiektów. Tabele w relacyjnej bazie danych definiują jednostki, dla których są przechowywane dane — na przykład baza danych handlu detalicznego może zawierać tabele produktów, klientów i zamówień. Każda jednostka składa się z zestawu atrybutów zdefiniowanych jako kolumny w tabeli, a każda kolumna ma nazwę i typ danych. Dane tabel są przechowywane w bazie danych i są ściśle powiązane z definicją tabeli; wymusza typy danych, wartość null, unikatowość klucza i integralność referencyjną między powiązanymi kluczami. Wszystkie zapytania i manipulacje danymi muszą być wykonywane za pośrednictwem systemu bazy danych.
W usłudze Data Lake nie ma ustalonego schematu. Dane są przechowywane w plikach, które mogą być ustrukturyzowane, częściowo ustrukturyzowane lub nieustrukturyzowane. Aplikacje i analitycy danych mogą pracować bezpośrednio z plikami w usłudze Data Lake przy użyciu wybranego narzędzia; bez ograniczeń systemu relacyjnej bazy danych.
Baza danych lake udostępnia warstwę metadanych relacyjnych na co najmniej jednym pliku w usłudze Data Lake. Możesz utworzyć bazę danych typu lake zawierającą definicje tabel, w tym nazwy kolumn i typy danych, a także relacje między kolumnami klucza podstawowego i obcego. Tabele odwołują się do plików w usłudze Data Lake, umożliwiając stosowanie semantyki relacyjnej do pracy z danymi i wykonywania względem niego zapytań przy użyciu języka SQL. Jednak przechowywanie plików danych jest oddzielone od schematu bazy danych; zapewnienie większej elastyczności niż zwykle oferuje system relacyjnej bazy danych.
Schemat bazy danych usługi Lake
Bazę danych lake można utworzyć w usłudze Azure Synapse Analytics i zdefiniować tabele reprezentujące jednostki, dla których chcesz przechowywać dane. Można stosować sprawdzone zasady modelowania danych, aby tworzyć relacje między tabelami i używać odpowiednich konwencji nazewnictwa dla tabel, kolumn i innych obiektów bazy danych.
Usługa Azure Synapse Analytics zawiera graficzny interfejs projektowania bazy danych, którego można użyć do modelowania złożonego schematu bazy danych przy użyciu wielu z tych samych najlepszych rozwiązań dotyczących projektowania bazy danych, które mają zastosowanie do tradycyjnej bazy danych.
Magazyn bazy danych usługi Lake
Dane tabel w bazie danych lake są przechowywane w usłudze Data Lake jako pliki Parquet lub CSV. Pliki mogą być zarządzane niezależnie od tabel baz danych, co ułatwia zarządzanie pozyskiwaniem i manipulowaniem danymi przy użyciu różnych narzędzi i technologii przetwarzania danych.
Obliczenia bazy danych lake
Aby wykonywać zapytania i manipulować danymi za pomocą zdefiniowanych tabel, możesz użyć bezserwerowej puli SQL usługi Azure Synapse do uruchamiania zapytań SQL lub puli platformy Apache Spark usługi Azure Synapse w celu pracy z tabelami przy użyciu interfejsu API SQL platformy Spark.