Wprowadzenie
Wiele organizacji obecnie pracuje z danymi big data . Ogromna ilość i różnorodność danych oraz szybkość generowania danych wymagają systemów, które ułatwiają zarządzanie nimi i kontrolowanie ich. W przeszłości organizacje używały systemów zarządzania relacyjnymi bazami danych do kontrolowania danych. Jednak organizacje chcą teraz funkcjonalności oprogramowania open source połączonego z korzyściami platform hostowanych. Usługa Azure HDInsight to doskonały przykład tego partnerstwa. Usługa HDInsight umożliwia przetwarzanie danych big data w wielu scenariuszach przy użyciu danych historycznych lub w czasie rzeczywistym.
Poniższa ilustracja przedstawia omówienie sposobu korzystania z usługi HDInsight. Przedstawia kilka źródeł danych, w tym czujniki Internetu rzeczy (IoT), bazy danych i kilka magazynów danych platformy Azure. Usługa HDInsight przetwarza dane z tych lokalizacji. Następnie udostępnia je w magazynie długoterminowym na potrzeby aplikacji czasu rzeczywistego i dalszej analizy.
Przykładowy scenariusz
Wyobraźmy sobie, że pracujesz dla organizacji, która tworzy zadania pozyskujące dane na potrzeby raportowania historycznego i zaawansowanej analizy. Być może masz również dane przesyłane strumieniowo, które wymagają analizy. W takiej sytuacji warto rozważyć użycie usługi HDInsight. Umożliwia gromadzenie wszystkich danych w jednej lokalizacji Data Lake. Następnie można go użyć do zarządzania następującymi obciążeniami:
- Przetwarzanie wsadowe
- Magazynowanie danych
- Operacje nauki o danych
- Przesyłanie strumieniowe
Co zrobimy?
Po ukończeniu tego modułu będziesz w stanie ocenić, czy usługa HDInsight może pomóc organizacji przetwarzać dane big data. Będziesz również w stanie opisać, w jaki sposób usługa HDInsight korzysta z popularnych struktur typu open source, które obsługują wiele scenariuszy danych.
Jaki jest główny cel?
Głównym celem jest ustalenie, czy usługa HDInsight jest odpowiednim wyborem dla wymagań dotyczących przetwarzania danych big data.