Gerenciamento de informações da empresa usando o SSIS, o MDS e o DQS em conjunto [Tutorial]
O gerenciamento de informações em uma empresa normalmente envolve a integração dos dados na empresa e fora dela, a limpeza dos dados, a correspondência dos dados para remover qualquer duplicata, a padronização dos dados, o enriquecimento dos dados, a adequação dos dados com os requisitos legais e de conformidade e o armazenamento do dados em um local centralizado com todas as configurações de segurança necessárias.
SQL Server 2014 fornece todos os componentes necessários para uma solução eficaz de Gerenciamento de Informações Corporativas (EIM) em um único produto. Estes são os principais componentes que ajudam a criar uma solução EIM:
SQL Server Integration Services
SQL Server Data Quality Services
SQL Server Master Data Services
O SQL Server Integration Services (SSIS) fornece uma plataforma sofisticada e extensível para a integração de dados de várias fontes em uma solução de extração, transformação e carregamento (ETL) abrangente que oferece suporte a fluxos de trabalho comerciais, data warehouse ou gerenciamento de dados mestre. Consulte o tópico Visão geral do Integration Services para obter uma visão geral rápida e usos típicos do SSIS.
O SQL Server Data Quality Services (DQS) permite a limpeza, a correspondência, a padronização e o enriquecimento dos dados; portanto, é possível enviar informações confiáveis para business intelligence, data warehouse e cargas de trabalho de processamento de transações. Confira o tópico Introdução aos Serviços de Qualidade de Dados para a necessidade de negócios para DQS e como o DQS responde à necessidade.
O SQL Server Master Data Services (MDS) fornece um hub de dados central que assegura a constante integridade das informações e consistência dos dados entre diferentes aplicativos. Consulte Master Data Services tópico Visão geral para obter breves descrições de recursos importantes do MDS.
Consulte Limpeza e correspondência de dados mestres usando white papers da EIM Technologies para obter uma orientação abrangente sobre como implementar uma solução EIM usando essas tecnologias do Microsoft EIM em conjunto e watch Enterprise Information Management (EIM): reunindo vídeoSIS, DQS e MDS para uma demonstração legal de um cenário de EIM.
Neste tutorial, você aprenderá a usar o SSIS, o MDS e o DQS em conjunto para implementar um exemplo de solução de Gerenciamento de informações da empresa (EIM). Primeiro, use o DQS para criar uma base de dados de conhecimento que contenha informações sobre os dados (metadados), limpar os dados em um arquivo do Excel usando a base de dados de conhecimento, e fazer a correspondência dos dados para identificar e remover duplicatas. Em seguida, use o Suplemento MDS para Excel a fim de carregar os dados limpos e correspondentes no MDS. Depois, automatize todo o processo usando uma solução SSIS. A solução SSIS neste tutorial lê os dados de entrada de um arquivo do Excel, mas você pode estendê-los para ler de várias fontes, como Oracle, Teradata, DB2 e banco de dados SQL do Azure.
Pré-requisitos
Microsoft SQL Server 2012 com os seguintes componentes instalados.
Integration Services (SSIS)
Master Data Services (MDS)
Data Quality Services (DQS)
SQL Server Data Tools
Consulte SQL Server Guia de Instalação 2012 para obter detalhes sobre como instalar o produto.
Configure o MDS usando o Gerenciador de Configuração do Master Data Services
Use o Gerenciador de Configuração para criar e configura um banco de dados do Master Data Services. Depois de criar o banco de dados MDS, crie um aplicativo Web para MDS em um site (por exemplo:
https://localhost/MDS) e associe o banco de dados MDS ao aplicativo Web MDS. Observe que, para criar um aplicativo Web do MDS, você deve ter o IIS instalado no computador. Consulte Requisitos de Aplicativo Web (Master Data Services) e Requisitos de Banco de Dados (Master Data Services) para obter detalhes sobre os pré-requisitos para configurar o banco de dados MDS e o aplicativo Web.Instale e configure o DQS usando o Instalador do Servidor de Qualidade de Dados. Clique em Iniciar, em Todos os Programas, em Microsoft SQL Server 2014, em Data Quality Services e em Instalador do Servidor de Qualidade de Dados.
Microsoft Excel 2010 (32 bits é preferencial).
Instale Master Data Services Suplemento para Excel (32 bits ou 64 bits com base na versão do Excel que você tem no computador) aqui. Para encontrar a versão do Excel instalada no computador, execute o Excel, clique em Arquivo na barra de menus e clique em Ajuda para ver a versão no painel direito. Observe que você precisa instalar o Visual Studio 2010 Tools for Office runtime antes de instalar o Suplemento do Excel.
(Opcional) Crie uma conta com Azure Marketplace. Uma das tarefas no tutorial exige que você tenha uma conta Azure Marketplace (originalmente chamada de Mercado de Dados). Você poderá ignorar essa tarefa se desejar e passar para a próxima tarefa.
Baixe o arquivo Suppliers.xls do Centro de Download da Microsoft.
O DQS não permite exportar os resultados de limpeza ou correspondência para um arquivo do Excel se você estiver usando a versão de 64 bits do Excel. Esse é um problema conhecido. Para resolvê-lo, faça o seguinte:
Execute DQLInstaller.exe -upgrade. Se você tiver instalado a instância padrão do SQL Server, o arquivo DQSInstaller.exe estará disponível em C:\Arquivos de Programas\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\Binn. Clique duas vezes no arquivo DQSInstaller.exe.
Em Gerenciador de Configuração do Master Data Services, clique em Selecionar Banco de Dados, selecione banco de dados MDS existente e clique em Atualizar.
Lições
| Lição | Breve descrição | Tempo estimado para concluir (em minutos). |
|---|---|---|
| Lição 1: Criando a base de dados de conhecimento do DQS de fornecedores | Nesta lição, você criará uma base de dados de conhecimento DQS chamada Fornecedores. | 60 |
| Lição 2: Limpando dados de fornecedor usando a base de dados de conhecimento de fornecedores | Nesta lição, você criará e executará um projeto DQS para limpar os dados do fornecedor em um arquivo do Excel usando a Base de Dados de Conhecimento de Fornecedores que você criou na primeira lição. | 45 |
| Lição 3: Correspondendo dados para remover duplicatas da lista de fornecedores | Nesta lição, você criará um projeto do DQS para executar a atividade de correspondência a fim de identificar e remover duplicatas da lista de fornecedores limpa. | 45 |
| Lição 4: Armazenando dados do fornecedor no MDS | Nesta lição, você carregará os dados do fornecedor limpos e correspondentes para Master Data Services (MDS) usando o Suplemento MDS para Excel. | 45 |
| Lição 5: Automatizando a limpeza e a correspondência usando o SSIS | Nesta lição, você criará uma solução SSIS que limpa os dados de entrada usando o DQS, faz a correspondência dos dados limpos para remover duplicatas, e armazena os dados limpos e correspondentes no MDS de forma automatizada. | 75 |
Próximas etapas
Para iniciar o tutorial, prossiga para a primeira lição: Lição 1: Criando a Base de Dados de Conhecimento do DQS de Fornecedores.