Identyfikowanie usług danych
Microsoft Azure to platforma w chmurze, która obsługuje aplikacje i infrastrukturę IT dla niektórych z największych organizacji na świecie. Obejmuje ona wiele usług do obsługi rozwiązań w chmurze, w tym obciążeń danych transakcyjnych i analitycznych.
Poniżej opisano niektóre z najczęściej używanych usług w chmurze dla danych.
Uwaga
W tym temacie opisano tylko niektóre z najczęściej używanych usług danych dla nowoczesnych rozwiązań transakcyjnych i analitycznych. Dostępne są również dodatkowe usługi.
Azure SQL
Usługa Azure SQL to zbiorcza nazwa rodziny rozwiązań relacyjnych baz danych na podstawie aparatu bazy danych programu Microsoft SQL Server. Określone usługi Azure SQL obejmują:
- Azure SQL Database — w pełni zarządzana baza danych typu "platforma jako usługa" (PaaS) hostowana na platformie Azure.
- Azure SQL Managed Instance — hostowane wystąpienie programu SQL Server z automatyczną konserwacją, które umożliwia bardziej elastyczną konfigurację niż usługa Azure SQL DB, ale z większą odpowiedzialnością administracyjną właściciela.
- Maszyna wirtualna Azure SQL — maszyna wirtualna z instalacją programu SQL Server, umożliwiając maksymalną możliwość konfigurowania z pełną odpowiedzialnością za zarządzanie.
Administratorzy baz danych zwykle aprowizować systemy baz danych Azure SQL Database i zarządzać nimi w celu obsługi aplikacji biznesowych ,które muszą przechowywać dane transakcyjne.
Inżynierowie danych mogą używać systemów bazy danych Azure SQL Database jako źródeł dla potoków danych, które wykonują operacje wyodrębniania, przekształcania i ładowania (ETL) w celu pozyskiwania danych transakcyjnych do systemu analitycznego.
Analitycy danych mogą wysyłać zapytania do baz danych Azure SQL Database bezpośrednio w celu tworzenia raportów, chociaż w dużych organizacjach dane są zwykle łączone z danymi z innych źródeł w magazynie danych analitycznych w celu obsługi analizy przedsiębiorstwa.
Bazy danych typu open source na platformie Azure
Platforma Azure obejmuje usługi zarządzane dla popularnych systemów relacyjnych baz danych typu open source, w tym:
Azure Database for MySQL — prosty w użyciu system zarządzania bazami danych typu open source, który jest często używany w aplikacjach stosu Linux, Apache, MySQL i PHP (LAMP).
Azure Database for MariaDB — nowszy system zarządzania bazami danych utworzony przez oryginalnych deweloperów programu MySQL. Aparat bazy danych był od tego czasu poprawiany i optymalizowany w celu zwiększenia wydajności. Rozwiązanie MariaDB oferuje zgodność z rozwiązaniem Oracle Database (jest to inny popularny system zarządzania bazami danych).
Azure Database for PostgreSQL — hybrydowa relacyjna baza danych obiektów. Dane można przechowywać w tabelach relacyjnych, ale baza danych PostgreSQL umożliwia również przechowywanie niestandardowych typów danych z ich własnymi właściwościami nierelacyjnymi.
Podobnie jak w przypadku systemów bazy danych Azure SQL Database, relacyjne bazy danych typu open source są zarządzane przez administratorów baz danych do obsługi aplikacji transakcyjnych i zapewniają źródło danych dla inżynierów danych tworzących potoki dla rozwiązań analitycznych i analityków danych tworzących raporty.
Azure Cosmos DB
Azure Cosmos DB to globalny system baz danych nierelacyjny (NoSQL), który obsługuje wiele interfejsów programowania aplikacji (API), umożliwiając przechowywanie danych i zarządzanie nimi jako dokumenty JSON, pary klucz-wartość, rodziny kolumn i grafy.
W niektórych organizacjach wystąpienia usługi Cosmos DB mogą być aprowizowane i zarządzane przez administratora bazy danych; chociaż często deweloperzy oprogramowania zarządzają magazynem danych NoSQL w ramach ogólnej architektury aplikacji. Inżynierowie danych często muszą zintegrować źródła danych usługi Cosmos DB z rozwiązaniami analitycznymi przedsiębiorstwa, które obsługują modelowanie i raportowanie przez analityków danych.
Azure Storage
Azure Storage to podstawowa usługa platformy Azure, która umożliwia przechowywanie danych w:
- Kontenery obiektów blob — skalowalny, ekonomiczny magazyn dla plików binarnych.
- Udziały plików — sieciowe udziały plików, takie jak zwykle w sieciach firmowych.
- Tabele — magazyn klucz-wartość dla aplikacji, które muszą szybko odczytywać i zapisywać wartości danych.
Inżynierowie danych używają usługi Azure Storage do hostowania magazynów typu data lake — magazyn obiektów blob z hierarchiczną przestrzenią nazw, która umożliwia organizowanie plików w folderach w rozproszonym systemie plików.
Azure Data Factory
Azure Data Factory to usługa platformy Azure, która umożliwia definiowanie i planowanie potoków danych w celu transferu i przekształcania danych. Potoki można zintegrować z innymi usługami platformy Azure, umożliwiając pozyskiwanie danych z magazynów danych w chmurze, przetwarzanie danych przy użyciu obliczeń opartych na chmurze i utrwalanie wyników w innym magazynie danych.
Usługa Azure Data Factory jest używana przez inżynierów danych do tworzenia rozwiązań wyodrębniania, przekształcania i ładowania (ETL), które wypełniają analityczne magazyny danych danymi z systemów transakcyjnych w całej organizacji.
Microsoft Fabric
Microsoft Fabric to ujednolicona platforma analizy oprogramowania jako usługi (SaaS) oparta na otwartym i zarządzanym lakehouse, która obejmuje funkcje do obsługi:
- Pozyskiwanie danych i ETL
- Analiza usługi Data lakehouse
- Analiza magazynu danych
- Nauka o danych i uczenie maszynowe
- Analiza w czasie rzeczywistym
- Wizualizacja danych
- Zarządzanie danymi i zarządzanie nimi
- Szczegółowe informacje oparte na sztucznej inteligencji
Inżynierowie danych mogą używać usługi Microsoft Fabric do tworzenia ujednoliconego rozwiązania do analizy danych, które łączy potoki pozyskiwania danych, magazyny danych, analizę w czasie rzeczywistym, analizę biznesową i wgląd w sztuczną inteligencję za pośrednictwem jednej usługi, która jest centralnie przechowywana w usłudze Microsoft OneLake.
Azure Databricks
Azure Databricks to zintegrowana z platformą Azure wersja popularnej platformy Databricks, która łączy platformę przetwarzania danych Apache Spark z semantykami bazy danych SQL i zintegrowanym interfejsem zarządzania umożliwiającym analizę danych na dużą skalę.
Inżynierowie danych mogą używać istniejących umiejętności związanych z usługą Databricks i platformą Spark do tworzenia magazynów danych analitycznych w usłudze Azure Databricks.
analitycy danych s mogą używać natywnej obsługi notesów w usłudze Azure Databricks do wykonywania zapytań i wizualizowania danych w łatwym w użyciu interfejsie internetowym.
Azure Stream Analytics
Azure Stream Analytics to aparat przetwarzania strumieniowego w czasie rzeczywistym, który przechwytuje strumień danych z danych wejściowych, stosuje zapytanie w celu wyodrębniania i manipulowania danymi ze strumienia wejściowego oraz zapisywania wyników w danych wyjściowych na potrzeby analizy lub dalszego przetwarzania.
Inżynierowie danych mogą włączyć usługę Azure Stream Analytics do architektur analizy danych, które przechwytują dane przesyłane strumieniowo do magazynu danych analitycznych lub wizualizacji w czasie rzeczywistym.
Azure Data Explorer
Azure Data Explorer to w pełni zarządzana, autonomiczna platforma analizy danych big data, która oferuje wysokowydajne wykonywanie zapytań dotyczących danych dzienników i danych telemetrycznych.
Analitycy danych mogą używać usługi Azure Data Explorer do wykonywania zapytań i analizowania danych, które zawierają atrybut znacznika czasu, takiego jak zwykle w plikach dziennika i danych telemetrycznych Internetu rzeczy (IoT).
Microsoft Purview
Usługa Microsoft Purview zapewnia rozwiązanie do zapewniania ładu i odnajdywania danych w całym przedsiębiorstwie. Za pomocą usługi Microsoft Purview można utworzyć mapę danych i śledzić pochodzenie danych w wielu źródłach danych i systemach, umożliwiając znajdowanie wiarygodnych danych na potrzeby analizy i raportowania.
Inżynierowie danych mogą użyć usługi Microsoft Purview, aby wymusić nadzór nad danymi w całym przedsiębiorstwie i zapewnić integralność danych używanych do obsługi obciążeń analitycznych.