Demokratyzowanie danych za pomocą wynalazku cyfrowego
Węgiel, ropa naftowa i potencjał ludzki były trzema najbardziej konsekwencjami aktywów podczas rewolucji przemysłowej. Te aktywa zbudowały firmy, zmieniły rynki i ostatecznie zmieniły narody. W gospodarce cyfrowej istnieją trzy równie ważne zasoby dla innowacji: dane, urządzenia i potencjał ludzki. Te zasoby mają duży potencjał innowacji. W przypadku wszelkich wysiłków na rzecz innowacji we współczesnej epoce dane są nową ropą naftową.
W każdej firmie istnieją dane, których można użyć do znajdowania i zaspokajania potrzeb klientów. Niestety proces wyszukiwania tych danych w celu kierowania innowacjami może być kosztowny i czasochłonny, więc potrzeby nie są wykrywane, a rozwiązania nie są tworzone. Demokratyzacja danych może rozwiązać ten problem.
Co to jest demokratyzacja danych? Jest to proces kierowania danymi do właściwych rąk w celu kierowania innowacjami. Ten proces demokratyzacji może mieć kilka form, ale zazwyczaj obejmują rozwiązania do pozyskiwania lub zintegrowanych danych pierwotnych, centralizacji danych, udostępniania danych i zabezpieczania danych. Gdy dane są zdemokratyzowane, eksperci w firmie mogą ich używać do tworzenia i testowania hipotez. W wielu przypadkach zespoły ds. wdrażania chmury mogą tworzyć z empatią klientów przy użyciu tylko danych, aby szybko zaspokoić potrzeby klientów.
Sposoby demokratyzacji danych
Istnieją różne sposoby demokratyzacji danych, ale większość z nich obejmuje metody zbierania, scentralizowaności, zarządzania i udostępniania danych. W poniższych sekcjach opisano niektóre z tych metod. Podczas tworzenia rozwiązania hipotezy klienta należy ocenić, czy demokratyzować dane, w jakim stopniu i jak to zrobić.
Udostępnianie danych
Podczas tworzenia z empatią klienta klient potrzebuje przewodnika po rozwiązaniu. Jeśli potrzebne są dane, rozwiązanie umożliwia klientowi bezpośrednie przesłuchanie, analizowanie i raportowanie danych bez pomocy technicznej personelu IT.
Wiele udanych innowacji zaczyna się od minimalnej opłacalnej wersji produktu (MVP), który dostarcza dane klientowi. MVP to wersja produktu, która ma wystarczającą liczbę funkcji, które mogą być używane przez klienta. Pokazuje potencjalny potencjał produktu w celu zebrania opinii od klienta. W tym modelu concierge pracownik jest konsumentem danych. Ten pracownik korzysta z danych, aby pomóc klientowi. Za każdym razem, gdy klient angażuje się w ręczne wsparcie, hipotezę można przetestować i zweryfikować. Takie podejście jest często opłacalnym sposobem testowania hipotezy skoncentrowanej na klientach, zanim zainwestujesz mocno w zintegrowane rozwiązania.
Podstawowe narzędzia do udostępniania danych bezpośrednio użytkownikom danych obejmują samoobsługowe raportowanie lub dane osadzone w innych środowiskach przy użyciu narzędzi takich jak usługa Power BI.
Uwaga
Przed udostępnieniem danych upewnij się, że zapoznasz się z następującymi sekcjami. Udostępnianie danych może wymagać zapewnienia ładu w celu zapewnienia ochrony danych. Ponadto jeśli dane obejmują wiele chmur, może to wymagać centralizacji. Jeśli dane znajdują się w aplikacjach, należy je zebrać, aby je udostępnić.
Zarządzanie danymi
Udostępnianie danych może szybko wygenerować minimalny możliwy do użycia produkt w konwersacjach klientów. Jednak aby przekształcić te udostępnione dane w przydatną i przydatną wiedzę, zwykle jest wymagana bardziej.
Po zweryfikowaniu hipotezy za pośrednictwem udostępniania danych kolejna faza opracowywania to zwykle nadzór nad danymi.
Nadzór nad danymi to szeroki temat, który może wymagać własnej dedykowanej platformy, która wykracza poza zakres przewodnika Cloud Adoption Framework.
Istnieje kilka aspektów ładu w zakresie danych, które należy wziąć pod uwagę zaraz po zweryfikowaniu hipotezy klienta. Na przykład:
- Czy dane udostępnione są poufne? Dane powinny być klasyfikowane przed publicznym udostępnieniem w celu ochrony interesów klientów i firmy.
- Jeśli dane są poufne, czy zostały zabezpieczone? Ochrona poufnych danych jest koniecznością demokratyzacji danych. Przykładowe obciążenie omówione w temacie Zabezpieczanie rozwiązań danych zawiera pewne odwołania do zabezpieczania danych.
- Czy dane są katalogowane? Identyfikowanie charakteru udostępnionych pomocy dotyczących danych w długoterminowym zarządzaniu danymi. Narzędzia do dokumentowania danych, takich jak usługa Azure Data Catalog, ułatwiają ten proces w chmurze. Wskazówki dotyczące adnotacji danych i dokumentacji źródeł danych mogą przyspieszyć proces.
Gdy demokratyzacja danych jest ważna dla hipotezy skoncentrowanej na kliencie, upewnij się, że zarządzanie udostępnionymi danymi znajduje się w planie wydania. Chroni to klientów, użytkowników danych i firmę.
Centralizowanie danych
Centralizacja danych prowadzi do bardziej znaczącego raportowania, zapewnia, że te same dane są dostępne w całej organizacji i zwiększają zwrot z inwestycji. Gdy dane są rozproszone w środowisku IT, możliwości wprowadzania innowacji mogą być bardzo ograniczone, kosztowne i czasochłonne. Chmura oferuje nowe możliwości scentralizowanego przetwarzania danych. Gdy centralizacja wielu źródeł danych jest wymagana do budowania z empatią klienta, chmura może przyspieszyć testowanie hipotez.
Uwaga
Centralizacja danych stanowi punkt ryzyka w każdym procesie innowacji. Gdy centralizacja danych jest skokiem technicznym, a nie źródłem wartości klienta, sugerujemy opóźnienie centralizacji do momentu zweryfikowania hipotez klienta.
W przypadku scentralizowanego przechowywania danych potrzebne są odpowiednie magazyny danych dla scentralizowanych danych. Dobrym rozwiązaniem jest ustanowienie magazynu danych w chmurze. Ta skalowalna opcja zapewnia centralną lokalizację dla wszystkich Twoich danych. Ten typ rozwiązania jest dostępny w opcjach przetwarzania analitycznego online (OLAP) lub danych big data.
Architektury referencyjne dla rozwiązań OLAP i danych big data mogą pomóc w wyborze najbardziej odpowiedniego rozwiązania centralizacji na platformie Azure. Jeśli jest wymagane rozwiązanie hybrydowe, architektura referencyjna rozszerzania danych lokalnych może również pomóc przyspieszyć opracowywanie rozwiązań.
Ważne
W przypadku niektórych potrzeb i rozwiązań klientów wystarczy proste podejście. Architekt chmury powinien rzucić zespołowi wyzwanie, aby rozważył rozwiązania o niskich kosztach, aby zweryfikować hipotezę klienta, zwłaszcza podczas wczesnego opracowywania. W tej sekcji dotyczącej zbierania danych omówiono scenariusze, które mogą sugerować inne rozwiązanie dla Danej sytuacji.
Zbieranie danych
Dwie podstawowe formy zbierania danych to integracja i pozyskiwanie danych.
Integracja: dane znajdujące się w istniejącym magazynie danych można zintegrować ze scentralizowanym magazynem danych przy użyciu tradycyjnych technik przenoszenia danych. Jest to szczególnie typowe w przypadku scenariuszy obejmujących magazyn danych w wielu chmurach. Te techniki obejmują wyodrębnienie danych z istniejącego magazynu danych, a następnie załadowanie ich do centralnego magazynu danych. W pewnym momencie w tym procesie dane są zwykle przekształcane, aby być bardziej użyteczne i istotne w magazynie centralnym.
Narzędzia oparte na chmurze przekształciły te techniki w narzędzia do płatności za użycie, zmniejszając barierę wprowadzania danych do zbierania danych i centralizacji. Narzędzia takie jak Azure Database Migration Service i Azure Data Factory to dwa przykłady. Architektura referencyjna usługi Data Factory z magazynem danych OLAP jest przykładem jednego z takich rozwiązań.
Pozyskiwanie: niektóre dane nie znajdują się w istniejącym magazynie danych. Gdy te dane przejściowe są podstawowym źródłem innowacji, warto rozważyć alternatywne podejścia. Dane przejściowe można znaleźć w różnych istniejących źródłach, takich jak aplikacje, interfejsy API, strumienie danych, urządzenia IoT, łańcuch bloków, pamięć podręczna aplikacji, zawartość multimediów, a nawet pliki proste.
Te różne formy danych można zintegrować z centralnym magazynem danych w rozwiązaniu OLAP lub big data. Jednak w przypadku wczesnych iteracji cyklu build-measure-learn rozwiązanie przetwarzania transakcyjnego online (OLTP) może wystarczyć do zweryfikowania hipotezy klienta. Rozwiązania OLTP nie są najlepszą opcją dla żadnego scenariusza raportowania. Jednak jeśli tworzysz współpracę z klientem, ważniejsze jest skupienie się na potrzebach klientów niż na decyzjach dotyczących narzędzi technicznych. Po zweryfikowaniu hipotezy klienta na dużą skalę może być wymagana bardziej odpowiednia platforma. Architektura referencyjna magazynów danych OLTP może pomóc w ustaleniu, który magazyn danych jest najbardziej odpowiedni dla danego rozwiązania.
Wirtualizacja: integracja i pozyskiwanie danych może czasami spowalniać innowacje. Jeśli rozwiązanie do wirtualizacji danych jest już dostępne, może reprezentować bardziej rozsądne podejście. Pozyskiwanie i integracja mogą zarówno zduplikować wymagania dotyczące magazynu, jak i programowania, dodawać opóźnienia danych, zwiększać obszar narażony na ataki, wyzwalać problemy z jakością i zwiększać nakłady pracy związane z zarządzaniem. Wirtualizacja danych to bardziej współczesna alternatywa, która pozostawia oryginalne dane w jednej lokalizacji i tworzy zapytania przekazywane lub buforowane danych źródłowych.
Oba programy SQL Server 2017 i Azure SQL Data Warehouse obsługują program PolyBase, który jest podejściem do wirtualizacji danych najczęściej używanych na platformie Azure.
Następne kroki
Mając strategię demokratyzacji danych, następnym krokiem będzie ocena podejść do tworzenia aplikacji.