Co to jest analiza w czasie rzeczywistym?
Analiza w czasie rzeczywistym to zaawansowana usługa, która umożliwia wszystkim w organizacji wyodrębnianie szczegółowych informacji i wizualizowanie danych w ruchu. Oferuje kompleksowe rozwiązanie dla scenariuszy opartych na zdarzeniach, danych przesyłanych strumieniowo i dzienników danych. Niezależnie od tego, czy chodzi o gigabajty, czy petabajty, wszystkie dane organizacyjne w ruchu zbiegają się w centrum czasu rzeczywistego. Bezproblemowo łączy dane oparte na czasie z różnych źródeł przy użyciu łączników bez kodu, umożliwiając natychmiastowe szczegółowe informacje wizualne, analizę geoprzestrzenną i reakcje oparte na wyzwalaczach, które są częścią wykazu danych w całej organizacji.
Po bezproblemowym połączeniu dowolnego strumienia danych całe rozwiązanie SaaS stanie się dostępne. Analiza w czasie rzeczywistym obsługuje pozyskiwanie danych, przekształcanie, magazyn, analizę, wizualizację, śledzenie, sztuczną inteligencję i akcje w czasie rzeczywistym. Dane pozostają chronione, zarządzane i zintegrowane w całej organizacji, bezproblemowo dopasowane do wszystkich ofert usługi Fabric. Analiza w czasie rzeczywistym przekształca dane w dynamiczny, praktyczny zasób, który zwiększa wartość w całej organizacji.
Czy inteligencja w czasie rzeczywistym może mi pomóc?
Analiza w czasie rzeczywistym może służyć do analizy danych, natychmiastowych szczegółowych informacji wizualnych, centralizacji danych w ruchu dla organizacji, akcji dotyczących danych, wydajnego wykonywania zapytań, przekształcania i przechowywania dużych ilości danych ustrukturyzowanych lub nieustrukturyzowanych. Niezależnie od tego, czy chcesz ocenić dane z systemów IoT, dzienników systemowych, wolnego tekstu, częściowo ustrukturyzowanych danych lub współtworzyć dane do użycia przez inne osoby w organizacji, analiza w czasie rzeczywistym zapewnia uniwersalne rozwiązanie.
Mimo że dane są nazywane "czasem rzeczywistym", dane nie muszą przepływać przy wysokich szybkościach i woluminach. Analiza w czasie rzeczywistym zapewnia oparte na zdarzeniach, a nie rozwiązania oparte na harmonogramie. Składniki analizy w czasie rzeczywistym są oparte na zaufanych, podstawowych usługi firmy Microsoft i razem rozszerzają ogólne możliwości sieci szkieletowej w celu zapewnienia rozwiązań opartych na zdarzeniach.
Aplikacje analizy w czasie rzeczywistym obejmują szeroką gamę scenariuszy biznesowych, takich jak automotive, produkcja, IoT, wykrywanie oszustw, zarządzanie operacjami biznesowymi i wykrywanie anomalii.
Jak mogę używać analizy w czasie rzeczywistym?
Funkcja analizy w czasie rzeczywistym w usłudze Microsoft Fabric oferuje funkcje, które w połączeniu umożliwiają tworzenie rozwiązań analizy w czasie rzeczywistym w zakresie obsługi procesów biznesowych i inżynieryjnych.
Centrum czasu rzeczywistego służy jako scentralizowany katalog w organizacji. Ułatwia ona łatwy dostęp, dodawanie, eksplorację i udostępnianie danych. Rozszerzając zakres źródeł danych, zapewnia ona szerszy wgląd w szczegółowe informacje i przejrzystość wizualną w różnych domenach. Co ważne, to centrum zapewnia, że dane są nie tylko dostępne, ale także dostępne dla wszystkich, promując szybkie podejmowanie decyzji i świadome działania. Udostępnianie danych przesyłanych strumieniowo z różnych źródeł umożliwia tworzenie kompleksowej analizy biznesowej w całej organizacji.
Po wybraniu strumienia z organizacji lub połączeniu z zewnętrznymi lub wewnętrznymi źródłami możesz eksplorować dane za pomocą narzędzi do użycia danych w analizie czasu rzeczywistego. Narzędzia do użycia danych używają wizualnego procesu eksploracji danych i przechodzenia do szczegółów szczegółowych informacji o danych. Możesz uzyskać dostęp do danych, które są dla Ciebie nowe i łatwo zrozumieć strukturę danych, wzorce, anomalie, prognozowanie ilości i współczynniki danych. W związku z tym można podejmować inteligentne decyzje lub podejmować decyzje na podstawie danych. Pulpity nawigacyjne w czasie rzeczywistym są wyposażone w gotowe do użycia interakcje, które upraszczają proces zrozumienia danych, dzięki czemu są dostępne dla każdego, kto chce podejmować decyzje na podstawie danych w ruchu przy użyciu narzędzi wizualnych, języka naturalnego i copilot.
Te szczegółowe informacje można przekształcić w akcje za pomocą aktywatora sieci szkieletowej, konfigurując alerty z różnych części sieci Szkieletowej w celu reagowania na wzorce danych lub warunki w czasie rzeczywistym.
Jak mogę korzystać ze składników analizy w czasie rzeczywistym?
Odnajdywanie danych przesyłanych strumieniowo
Centrum czasu rzeczywistego służy do odnajdywania danych przesyłanych strumieniowo i zarządzania nimi. Zdarzenia centrum czasu rzeczywistego to wykaz danych w ruchu i zawiera:
Strumienie danych: wszystkie strumienie danych aktywnie uruchomione w sieci szkieletowej, do których masz dostęp.
Źródła firmy Microsoft: łatwe odnajdywanie źródeł przesyłania strumieniowego, które masz i szybko konfigurujesz pozyskiwanie tych źródeł w sieci szkieletowej, na przykład: Azure Event Hubs, Azure IoT Hub, Azure SQL DB Change Data Capture (CDC), Azure Cosmos DB CDC, PostgreSQL DB CDC.
Zdarzenia sieci szkieletowej: funkcje sterowane zdarzeniami obsługują powiadomienia w czasie rzeczywistym i przetwarzanie danych. Zdarzenia, w tym zdarzenia elementu obszaru roboczego sieci szkieletowej i zdarzenia usługi Azure Blob Storage, można monitorować i reagować na nie. Te zdarzenia mogą służyć do wyzwalania innych akcji lub przepływów pracy, takich jak wywoływanie potoku danych lub wysyłanie powiadomienia za pośrednictwem poczty e-mail. Te zdarzenia można również wysyłać do innych miejsc docelowych za pośrednictwem strumieni zdarzeń.
Wszystkie te dane są prezentowane w łatwo eksploatacyjnym formacie i są dostępne dla wszystkich obciążeń sieci szkieletowej.
Nawiązywanie połączenia z danymi przesyłanymi strumieniowo
Strumienie zdarzeń to platforma Fabric umożliwiająca przechwytywanie, przekształcanie i kierowanie dużych ilości zdarzeń w czasie rzeczywistym do różnych miejsc docelowych bez obsługi kodu. Strumienie zdarzeń obsługują wiele źródeł danych i miejsc docelowych danych, w tym szeroką gamę łączników do źródeł zewnętrznych, na przykład: klastry Apache Kafka, źródła przechwytywania zmian danych bazy danych, źródła przesyłania strumieniowego platformy AWS (Kinesis) i Google (GCP Pub/Sub).
Przetwarzanie strumieni danych
Korzystając z funkcji przetwarzania zdarzeń w strumieniach zdarzeń, można filtrować, czyścić dane, transformację, agregacje okienne i wykrywać dupe, aby wylądować dane w żądanym kształcie. Możesz również użyć funkcji routingu opartego na zawartości, aby wysyłać dane do różnych miejsc docelowych na podstawie filtrów. Inna funkcja, pochodne strumienie zdarzeń, umożliwia konstruowanie nowych strumieni w wyniku przekształceń i/lub agregacji, które mogą być udostępniane konsumentom w centrum czasu rzeczywistego.
Przechowywanie i analizowanie danych
Eventhouses to idealny aparat analityczny do przetwarzania danych w ruchu. Są one dostosowane do zdarzeń przesyłania strumieniowego opartych na czasie z danymi ustrukturyzowanymi, częściowo ustrukturyzowanymi i bez struktury. Te dane są automatycznie indeksowane i partycjonowane na podstawie czasu pozyskiwania, co zapewnia niezwykle szybkie i złożone możliwości wykonywania zapytań analitycznych na danych o wysokim stopniu szczegółowości. Dane przechowywane w centrach zdarzeń można udostępniać w usłudze OneLake do użytku przez inne środowiska sieci szkieletowej.
Indeksowane, partycjonowane dane przechowywane w magazynach zdarzeń są gotowe do szybkiego wykonywania zapytań przy użyciu różnych opcji kodu, niskiej ilości kodu lub braku kodu w usłudze Fabric. Zapytania dotyczące danych można wykonywać w natywnym języku KQL (język zapytań Kusto) lub przy użyciu języka T-SQL w zestawie zapytań KQL. Kusto copilot, wraz z funkcją eksploracji zapytań bez kodu, usprawnia proces analizowania danych zarówno dla doświadczonych użytkowników KQL, jak i analityków danych obywateli. KQL to prosty, ale zaawansowany język do wykonywania zapytań o dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane. Język jest ekspresyjny, łatwy do odczytania i zrozumienia intencji zapytań oraz zoptymalizowany pod kątem środowisk tworzenia.
Wizualizowanie szczegółowych informacji o danych
Te szczegółowe informacje o danych można wizualizować w zestawach zapytań KQL, pulpitach nawigacyjnych w czasie rzeczywistym i raportach usługi Power BI z sekundami od pozyskiwania danych do szczegółowych informacji. Opcje wizualizacji obejmują od braku kodu do w pełni wyspecjalizowanych środowisk, dając wartość zarówno początkującym, jak i ekspertom w eksploratorze szczegółowych informacji w celu wizualizacji danych jako wykresów i tabel. Możesz użyć wskazówek wizualnych, aby wykonywać operacje filtrowania i agregacji na wynikach zapytań oraz korzystać z bogatej listy wbudowanych wizualizacji. Te szczegółowe informacje można wyświetlać w raportach usługi Power BI i pulpitach nawigacyjnych w czasie rzeczywistym, z których oba mogą mieć alerty oparte na szczegółowych danych.
Akcje wyzwalacza
Alerty monitorują zmieniające się dane i automatycznie podejmują akcje po wykryciu wzorców lub warunków. Dane mogą być przepływające w centrum czasu rzeczywistego lub obserwowane z poziomu zapytania Kusto lub raportu usługi Power BI. Po spełnieniu określonych warunków lub logiki zostanie podjęta akcja, taka jak powiadamianie użytkowników, wykonywanie elementów zadań sieci szkieletowej, takich jak potok, lub uruchamianie przepływów pracy usługi Power Automate. Logika może być po prostu zdefiniowanym progiem, wzorcem, takim jak zdarzenia wykonywane wielokrotnie w danym okresie, lub wynikami złożonej logiki zdefiniowanej przez zapytanie KQL. Aktywacja przekształca wgląd w praktyczne korzyści biznesowe oparte na zdarzeniach.
Integracja z innymi środowiskami sieci szkieletowej
- Kierowanie zdarzeń ze strumieni zdarzeń do lokalizacji docelowych elementów sieci szkieletowej
- Emitowanie zdarzeń z elementów sieci szkieletowej do centrum czasu rzeczywistego
- Uzyskiwanie dostępu do danych w usłudze OneLake z poziomu analizy w czasie rzeczywistym na kilka sposobów:
- Dane z usługi OneLake mogą być odpytywane z analizy w czasie rzeczywistym jako skrót
- Użyj danych załadowanych do analizy w czasie rzeczywistym jako danych bazowych do wizualizacji w raporcie usługi Power BI
- Używanie danych załadowanych do analizy w czasie rzeczywistym w notesach sieci szkieletowej w inżynierowie danych