Pojęcia dotyczące wyszukiwania danych (Analysis Services - wyszukiwania danych)
Wyszukiwania danych to proces odkrywania zaskarżeniu informacje z dużych zestawów danych.Wyszukiwania danych używa analizy matematycznych do uzyskania wzorców i trendów, które istnieją w danych.Zazwyczaj te wzorce nie odnaleziony przez eksploracji danych tradycyjnych, ponieważ relacje są zbyt skomplikowane lub jest zbyt dużo danych.
Tych wzorców i trendów mogą być zbierane i zdefiniowany jako danych model wyszukiwania.Górnictwo modele mogą być stosowane do określonego scenariusze, takie jak:
Prognozowanie sprzedaży
Korespondencja do określonych odbiorców docelowych
Ustalania produktów, które prawdopodobnie mogą być sprzedawane razem
Znajdowanie sekwencji w kolejności, że klienci dodać produkty do koszyka
Tworzenie model wyszukiwania jest częścią większego procesu, który zawiera wszystkie elementy z zadawanie pytań dotyczących danych i tworzenie modelu odpowiedzi na te pytania do wdrażania modelu do środowiska pracy.Ten proces można zdefiniować za pomocą następujących sześciu podstawowych kroków:
Definiowanie Problem
Przygotowywanie danych
Eksplorowanie danych
Modele budynku
Eksplorowanie i sprawdzanie poprawności modeli
Wdrażanie i aktualizowanie modeli
The following diagram describes the relationships between each step in the process, and the technologies in Microsoft SQL Server that you can use to complete each step.
Chociaż proces przedstawionym na diagramie jest cykliczne, każdy krok niekoniecznie prowadzą bezpośrednio do następnego kroku.Tworzenie danych model wyszukiwania jest procesem dynamicznej i iteracyjną.Po Eksploracja danych, można znaleźć, że dane są niewystarczające do tworzenia modeli odpowiednich górnictwa i że dlatego trzeba wyszukać więcej danych.Alternatywnie można utworzyć kilka modeli i okaże się, że modele nie odpowiednio odpowiedzi problem zdefiniowany i że w związku z tym należy ponownie zdefiniować problem.Należy zaktualizować modele po ich został wdrożony ponieważ udostępniono więcej danych.Każdy krok w procesie trzeba wielokrotnie powtórzony w celu utworzenia modelu dobra.
SQL Server 2008zapewnia zintegrowane środowisko do tworzenia i pracy z wyszukiwanie danych modeli o nazwie Business Intelligence Development Studio.To środowisko obejmuje algorytmów wyszukiwanie danych i narzędzia, które ułatwiają tworzenie kompleksowe rozwiązanie dla wielu projektów.Aby uzyskać więcej informacji o korzystaniu z BI Development Studio, zobacz Opracowanie i wykonanie, za pomocą Business Intelligence Development Studio.
Po utworzeniu wyszukiwanie danych roztwór, można utrzymać i przeglądać go za pomocą SQL Server Management Studio.Aby uzyskać więcej informacji, zobacz Zarządzanie struktur wyszukiwania danych i modeli.
Na przykład SQL Server narzędzi mogą być stosowane do scenariusza biznesowego, zobacz Samouczek wyszukiwania danych podstawowych.
Definiowanie Problem
Pierwszym krokiem w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest wyraźnie zdefiniować problemu biznesowego i rozważyć sposoby zapewnienia odpowiedzi problemu.
Ten krok obejmuje analizowanie wymagań biznesowych, definiowanie zakres problemu, definiowanie metryki oceniana modelu i określające szczególne cele wyszukiwanie danych projektu.Zadania te przekładają się na pytania, takie jak:
Czego szukasz?Jakie typy relacji próbujesz znaleźć?
Próbujesz rozwiązuje problem odzwierciedlają zasad lub procesów biznesowych?
Czy chcesz dokonać przewidywaniach dane model wyszukiwania, lub po prostu poszukać wzorców i skojarzeń?
Atrybut zestawu danych, którego chcesz spróbować przewidzieć?
W jaki sposób są powiązane kolumny?W przypadku wielu tabel, jak są tabele powiązane?
Jaki jest rozpowszechniany dane?Czy dane sezonowych?Dane dokładnie reprezentuje procesów biznesowych?
Odpowiedzi na pytania, trzeba przeprowadzić analizę dostępności danych, w celu zbadania potrzeb użytkowników biznesowych w odniesieniu do dostępnych danych.Jeśli dane nie obsługuje potrzeb użytkowników, należy ponownie zdefiniować projektu.
Należy również rozważyć sposoby, w której wyniki modelu może być zawarte w kluczowych wskaźników wydajności (KPI) są używane do miara postępu biznesowych.
Przygotowywanie danych
Drugi krok w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest konsolidacja i czyszczenia danych, który został zidentyfikowany w Definiowanie Problem kroku.
Dane mogą być rozproszone w całej firmie i przechowywane w różnych formatach lub może zawierać niespójności, takich jak niepoprawne lub brakujące pozycje.Na przykład dane może pokazać zakupione produkt klienta przed zaproponowano produktu na rynek lub że sklepy nabywcy regularnie w sklepie znajduje się 2 000 kilometrów w swoim domu.
Czyszczenie danych jest nie tylko usunięcie złe dane, ale o znajdowaniu korelacji ukrytych danych, źródeł danych, które są najbardziej dokładne identyfikowanie i określanie kolumny, które są najbardziej odpowiednie dla analizy.Można, na przykład należy użyć data wysyłki lub data zamówienia?Jest najlepiej osoba mająca wpływ sprzedaży, ilość, cena razem lub ceny po rabacie?Niepełne dane, nieodpowiedniego i nakładów, które pojawiają się oddzielnie, ale są w fakt silnie skorelowane, mogą wpływać na wyniki modelu w sposób nie oczekujesz.Dlatego przed rozpoczęciem tworzenia modeli wyszukiwania, należy zidentyfikować problemy i określić, jak będzie je naprawić.
Zazwyczaj pracuje z bardzo dużych zestawów danych, a nie można przeglądać w każdej transakcji.Dlatego należy użyć pewnych form automatyzacji, takich jak w Integration Services, aby eksplorować dane i znaleźć niespójności.Microsoft Integration Services contains all the tools that you need to complete this step, including transforms to automate data cleaning and consolidation.Aby uzyskać więcej informacji, zobacz Integracja usług Business Intelligence Development Studio.
Należy zauważyć, że dane używane do wyszukiwanie danych nie muszą być przechowywane w Online Analytical Processing (OLAP) jest moduł, lub nawet w relacyjnej bazie danych, chociaż można używać obu tych źródeł danych.Można przeprowadzać wyszukiwanie danych przy użyciu dowolnego źródła danych, która została zdefiniowana jako Usługi Analysis Services źródło danych.Obejmują one pliki tekstowe, skoroszytów programu Excel lub dane z innych dostawców zewnętrznych.Aby uzyskać więcej informacji, zobacz Definiowanie źródeł danych (Analysis Services).
Eksplorowanie danych
Trzeci krok w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest poznanie przygotowane dane.
Dane należy poznać, aby podejmować właściwe decyzje podczas tworzenia modeli wyszukiwania.Technik badań obejmują obliczania wartości minimalne i maksymalne, Obliczanie średniej i odchylenia standardowego i spojrzenie na dystrybucji danych.Na przykład może określić, przeglądając maksymalnej, minimalnej i średniej wartości danych nie jest reprezentatywna dla odbiorców lub procesów biznesowych i dlatego musi uzyskać dane zrównoważonego lub weryfikacji założeń, które stanowią podstawę dla Twoich oczekiwań.Odchylenia standardowe i wartości innych dystrybucji może dostarczyć przydatnych informacji o stabilności i dokładność wyniki.Duże odchylenie standardowe można wskazać, że dodanie więcej danych może pomóc w poprawie modelu.Danych zdecydowanie odbiega od standardowy rozkład może być skośny, lub może reprezentuje dokładniejszy obraz problemu rzeczywistym, ale utrudnić dopasowanie modelu danych.
Eksplorowanie danych w świetle własnych opis problemu biznesowego, można określić Jeżeli zestaw danych zawiera dane, poprawiać, a następnie opracować strategię rozwiązywania problemów lub uzyskanie głębsze zrozumienie zachowań, które są typowe dla firmy.
Projektanta widoku źródła danych w BI Development Studio zawiera kilka narzędzi, których można Eksploracja danych.Aby uzyskać więcej informacji, zobacz Projektowanie widoków źródło danych (Analysis Services) lub Eksplorowanie danych w widoku źródła danych (Analysis Services).
Ponadto podczas tworzenia modelu, Usługi Analysis Services automatycznie tworzy statystycznych podsumowania danych zawartych w modelu kwerendy można używać w raportach lub dalszej analizy.Aby uzyskać więcej informacji, zobacz Badanie modeli wyszukiwania danych (Analysis Services - wyszukiwania danych).
Modele budynku
Czwarty etap w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest utworzenie model wyszukiwania lub modeli.Użyje wiedza, że uzyskane w Eksplorowania danych kroku ułatwiające definiowanie i Utwórz modele.
Zdefiniowanie danych, które mają być używane przez tworzenie struktura wyszukiwania.struktura wyszukiwania definiuje źródło danych, ale nie zawiera żadnych danych dopóki go przetworzyć.Kiedy proces struktura wyszukiwania, Usługi Analysis Services generuje agregatów oraz innych informacji statystycznych, które mogą służyć do analizy.Ta informacje mogą być wykorzystywane przez model wyszukiwania jest oparty na strukturze.Aby uzyskać więcej informacji na temat jak górnictwo struktur są związane z modeli wyszukiwania, zobacz Architektura logiczne (Analysis Services - wyszukiwania danych).
Przed przetworzeniem modelu danych model wyszukiwania jest tylko kontener określa kolumny używane do wprowadzania, atrybut, który są przewidywaniu i parametry, które mówią algorytm jak do przetwarzania danych.Przetwarzanie modelu jest również nazywany szkolenia.Szkolenia dotyczą proces stosowania określonego algorytmu matematycznych do danych w strukturze w celu wyodrębnić wzorców.The patterns that you find in the training process depend on the selection of training data, the algorithm you chose, and how you have configured the algorithm.SQL Server 2008 contains many different algorithms, each suited to a different type of task, and each creating a different type of model.Listę algorytmów w programie SQL Server 2008, zobacz Algorytmów wyszukiwania danych (Analysis Services - wyszukiwania danych).
Można również używać parametrów dostosować każdy algorytm i filtry można stosować do danych szkolenia tylko podzbiór danych, tworzenie różnych wyniki.Po przekazywanie danych za pośrednictwem modelu, model wyszukiwania obiekt zawiera podsumowania i wzorce, które mogą być badane lub używane do przewidywanie.
Nowy model można zdefiniować przy użyciu Kreatora wyszukiwania danych w BI Development Studio, lub za pomocą języka danych górnictwa rozszerzenia (DMX).Aby uzyskać więcej informacji na temat używania Kreatora wyszukiwania danych, zobacz Kreator wyszukiwania danych (Analysis Services - wyszukiwania danych).Aby uzyskać więcej informacji na temat używania DMX, zobacz Odwołanie do rozszerzeń wyszukiwania danych (DMX).
Należy koniecznie pamiętać, że zmianie danych należy zaktualizować zarówno struktura wyszukiwania i modelu górniczych.Podczas aktualizacji struktura wyszukiwania , przetwarzając Usługi Analysis Services pobiera dane ze źródła, w tym wszelkich nowych danych, jeśli źródło jest dynamicznie aktualizowany i repopulates struktura wyszukiwania.Jeśli masz modeli, które są oparte na strukturę można zaktualizować modele, które są oparte na strukturę, która oznacza, są one retrained na nowych danych, lub można pozostawić modeli jest.Aby uzyskać więcej informacji, zobacz Przetwarzanie obiektów wyszukiwania danych.
Eksplorowanie i sprawdzanie poprawności modeli
Piąty krok w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest poznanie modeli wyszukiwania mają wbudowane i przetestować ich skuteczności.
Przed wdrożyć modelu w środowisku produkcyjnym, będzie chcesz przetestować, jak również wykonuje modelu.Ponadto podczas tworzenia modelu zazwyczaj tworzone wielu modeli w różnych konfiguracjach i testowanie wszystkich modeli, aby zobaczyć, która daje najlepsze wyniki problem i danych.
Usługi Analysis Services zawiera narzędzia, które pomagają oddzielne dane do szkolenia i testowanie zestawów danych, dzięki czemu można dokładniej ocenić wydajność wszystkich modeli na tych samych danych.Użyj dataset szkolenia do budowania modelu i testowania zestawu danych do testowania dokładności modelu przez utworzenie kwerendy przewidywanie.W przypadku usług analiz programu SQL Server 2008 to partycjonowanie może odbywać się automatycznie podczas tworzenia modelu górniczych.Aby uzyskać więcej informacji, zobacz Sprawdzanie poprawności modeli wyszukiwania danych (Analysis Services - wyszukiwania danych).
Można eksplorować trendów i wzorów, które algorytmy wykryć przy użyciu widzów w projektancie wyszukiwania danych w BI Development Studio.Aby uzyskać więcej informacji, zobacz Wyświetlanie modeli wyszukiwania danych.Użytkownik może również testować, jak tworzyć modele prognoz za pomocą narzędzi projektanta, takich jak wykres przyrostu i klasyfikacji matrycy.Aby sprawdzić modelu jest specyficzny dla danych, czy może służyć do tworzenia nagromadzeniem na całej zapełnianie, można użyć techniki statystyczne o nazwie krzyżowe sprawdzanie poprawności do automatycznego tworzenia podzbiorów danych i przetestować model przeciwko każdy podzbiór.Aby uzyskać więcej informacji, zobacz Sprawdzanie poprawności modeli wyszukiwania danych (Analysis Services - wyszukiwania danych).
Jeśli żadna z modeli, które zostały utworzone w Budynku modele krok również wykonać, należy powrócić do poprzedniego kroku w procesie i ponownie zdefiniować problem lub reinvestigate dane w oryginalnym zestawie danych.
Wdrażanie i aktualizowanie modeli
Ostatni krok w procesie wyszukiwanie danych jako wyróżnione na poniższym diagramie jest wdrożyć modeli, które wykonywane najlepszych do środowiska produkcyjnego.
Po modeli wyszukiwania istnieje w środowisku produkcyjnym, można wykonywać wiele zadań, w zależności od potrzeb.Poniżej przedstawiono niektóre zadania można wykonać:
Use the models to create predictions, which you can then use to make business decisions.SQL Server provides the DMX language that you can use to create prediction queries, and Prediction Query Builder to help you build the queries.Aby uzyskać więcej informacji, zobacz Odwołanie do rozszerzeń wyszukiwania danych (DMX).
Tworzenie kwerendy zawartości pobrać statystyk, zasady lub formuły z modelu.Aby uzyskać więcej informacji, zobacz Badanie modeli wyszukiwania danych (Analysis Services - wyszukiwania danych).
Osadzić funkcji wyszukiwanie danych bezpośrednio do aplikacji.Można dołączyć analizy zarządzania obiektami (AMO), który zawiera zestaw obiektów, które umożliwia tworzenie aplikacji, zmieniać, przetwarzania i usuwania struktur górnictwa i modeli wyszukiwania.Alternatywnie, można wysłać XML for Analysis (XMLA) wiadomości bezpośrednio do wystąpienie Usługi Analysis Services. Aby uzyskać więcej informacji, zobacz Rozwoju (Analysis Services - wyszukiwania danych).
Użyj Integration Services do tworzenia pakiet w modelu górnictwo służącym do inteligentnie oddzielenie przychodzące dane do wielu tabel.Na przykład, jeśli baza danych jest ciągle aktualizowana z potencjalnych klientów, można użyć model wyszukiwania wraz z Integration Services podziału danych przychodzących do klientów, którzy prawdopodobnie zakupu produktu i klientów, którzy prawdopodobnie nie zakupu produktu.Aby uzyskać więcej informacji, zobacz Typowe zastosowania usługi integracji.
Utworzyć raport, który pozwala użytkownikom kwerendy bezpośrednio przed istniejącym model wyszukiwania.Aby uzyskać więcej informacji, zobacz Usługi Reporting Services w Business Intelligence Development Studio (SSRS).
Aktualizuj modele po przeglądu i analizy.Dowolna aktualizacja wymaga, ponowne przetworzenie modelu.Aby uzyskać więcej informacji, zobacz Przetwarzanie struktur i modele (Analysis Services - wyszukiwania danych).
Aktualizuj modele dynamicznie, wchodzi więcej danych w organizacji i dokonywanie zmian stała poprawy skuteczności roztwór powinien być częścią strategii wdrażania.Aby uzyskać więcej informacji, zobacz Zarządzanie struktur wyszukiwania danych i modeli