Data Collector (pt-BR)
Introdução
O Data Collector (DC) é uma nova feature implementada no SQL Server 2008 cuja o objetivo é realizar a centralização de informações. Esse recurso faz com que informações do tipo informações das bases de dados, consultas realizadas e informações do servidor seja visualizado em relatórios dentro do SSMS (SQL Server Management Studio).
As informações coletadas são armazenadas dentro de uma banco de dados chamado Management Data Warehouse (MDW) que é utlizado para armazenar todas as coletas realizadas pelo DC.
Os Componentes que são utilizados junto com o DC são SQL Server Reporting Services (SSRS), SQL Server Integration Services (SSIS) somente o run-time do programa e o mesmo já é instalado junto com a instalaçõa da engine do SQL Server ou seja não é necessário que o mesmo seja instalado para que ele seja executado e o SQL Server Agent, reponsável pelo agendamento dos processos dessa feature.
As **Áreas de Atuação **do DC são busca de informações consultas, estátisticas, informações de uso de disco dos bancos de dados, monitoramento de cpu, memória, uso de rede dentre outros.
Nomenclatura do Data Collector
Collection Set - Um grupo/conjunto de itens que possuem coletores que realizam coleta de informações dentro dos servidores de banco de dados.
Collection Item - O tipo de coleta, ou seja os items que se deseja coletar para o banco de dados.
Collection Mode - Dois modos são disponibilizados para esse recurso:
Cached Mode - Modo de coleta das informações contínua, tudo que é coletados fica armazenado dentro do cache do servidor.
Noncached Mode – Modo que realiza a coleta das informações no mesmo instante do acontecimento e realiza o armazenamento dessa coleta dentro de um repostório temporário (Temporary Storage) no qual depois de algum tempo o mesmo é inserido dentro do MDW.
Management Data Warehouse - O Banco de Dados relacional que realiza o armazenamento dos dados da coletas realizadas pelo Data Collector.
Arquitetura e Processamento
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb1.png?w=327&h=271
O modelo acima mostra o funcionanemto interno do recurso. Nesse gráfico vemos que o mesmo é dividido em 4 partes, que são elas:
· Storage- Parte aonde são armazenadas todas as informações coletadas pelos Collection Sets e seus Collection Items.
· Execution- Usado em conjunto com o storage, para que assim o pacote do integration services consiga inserir os dados dentro do MDW.
· API- realiza a interação entre o usuário e o DC.
· Cliente- A interface para a visualização das informações dentro do Management Studio (SSMS).
System Data Collection Sets e Collection Items
Temos 3 coletores por padrão no DC que são: Disk Usage, Query Statistics e Server Activity, dentro de cada coletor temos os items no qual realizam a coleta dentro das instâncias de banco de dados. Aqui veremos todas as informações sobre eles.
· Disk Usage Collection Set
Esse coletor verifica o crescimento dos bancos de dados, tanto dos arquivos de dados (.mdf), como os arquivos de log (.ldf) dando assim uma tendência de crescimento diária em MB dos arquivos analisados.
Collection Itens
Disk Usage – Data Files e
Disk Usage – Log Files
Esses items realizam a coleta das informações usando T-SQL utilizando como consulta:
Snapshot de Sys.partitions e Sys.allocation_units
DBCC SQLPERF (LOGSPACE)
Snapshot de sys.dm_io_virtual_file_stats
| Collection set name | Disk Usage |
| Collection mode | Non-cached |
| Upload schedule frequency | Every 6 hours |
| Data retention | 730 days |
| Collection items | Disk Usage – Data Files
Disk Usage – Log Files |
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb2.png?w=519&h=348
· Server Activity Collection Set
Coleta informações de atividades do servidor, estatística, performance, cadeias de lock, informações gerais de memória, CPU e rede.
Collection Itens
Server Activity – DMV Snapshots
Server Activity – Performance Counters
Esse coletores nos deixam visualizar recursos de utilização de servidor, tanto da própria utilização da máquina, como tambêm da utilização da instância, ajudam na procura de gargalos na instância, como visualização de locks, blocks, deadlocks, problemas de contenção e outros…
| Collection set name | Server Activity |
| Collection mode | Cached |
| Upload schedule frequency | Every 15 minutes |
| Data retention | 14 days |
| Collection items | Server Activity – DMV Snapshots
Server Activity – Performance Counters |
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb3.png?w=526&h=414
· Query Statistics Collection Set
Coleta de estatísticas, planos de execução, texto das consultas realizadas e outras informações a consultas realizadas aos banco de dados.
Collection Itens
Query Statistics – Query Activity
Esse coletor busca informações de todas as consultas realizada contras os bancos de dados. Os dados dessas coletas são apresentadas em um relatório mostrando seu plano de execução, o texto gerado e informações de uso da mesma.
**
| Collection set name | Query Statistics |
| Collection mode | Cached |
| Upload schedule frequency | Every 15 minutes |
| Data retention | 14 days |
| Collection item | Query Statistics – Query Activity |
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb4.png?w=577&h=484
Funcionamento
Ou seja até esse momento podemos dizer que:
* O DC assiste o sistema, temos os coletores realizando a inserção no banco de dados MDW.
* Temos os relatórios divididos por áreas de interesse, gerando assim relatórios históricos e mostrando resolução de problemas quando possível.
* Temos tambêm que ter a consiência que o DC não é utilizado para monitoramente em tempo real, temos uma base que serve para análise de informações históricas e não em real-time.
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb5.png?w=599&h=288
Temos o funcionamento interno da ferramenta que são divididos em:
1 – Fase:
Temos o serviço do DC rodando juntamento com o sistema operacional, o nome desse serviço se chama DCEXEC.
2 – Fase:
Os Collection Sets e os Collection Items trabalham para realizar a coleta das informações e colocar no que chamamos de Temporary Storage.
3 – Fase:
O pacote do SSIS realiza a busca das informações coletadas no Temporary Storage e realiza a inserção das informações dentro do MDW.
4 –Fase:
Após todas as informações serem coletadas e colocadas no MDW o SSRS monta os relatórios e disponibiliza dentro do Management Studio do SQL Server.
Segurança
O modo de segurança utilizado pelo Data Collector é role-based security modelo utilizado pelo SQL Server, nesse modo é possível que o administrador do banco de dados rode em vários coletores de informações no contexto da segurança tendo somente as permissões necessárias. Esse modelo de segurança é utilizado também para operações envolvendo tabelas internas que são acessadas por views e stored procedures. Nenhuma permisão é concedida nível tabela , todas as permissões são checadas nível stored procedure e view.
Segurança de Rede – Network Security
Informações sensível serão passadas por instâncias e servidores, sendo assim todos as informações coletadas são protegidas usando o mecanismo padrão de segurança e utilizando protocolo de criptografia do SQL Server.
Permissão do Data Collector
Utilizando a metodologia de acesso do Maior-Privilêgio e Menor-Privilêgio seguem acessos permitidos para o DC.
· Dc_admin
· Dc_operator
· DC_proxy
Todas as regras são armazenadas no banco de sistema msdb. Por padrão nenhum usuário é membro dessas regras, todas as regras citadas teem que ser permitidas explicitamente.
Todos os logins que possuem a fixed server role sysadmintem acesso full a todas as views do DC.
Dc_Admin Role
Usuários que possuem essa regra teem acesso FUL (criação, leitura, Update e Delete) para as configurações do Data Colector e Instância do SQL Server.
As operações que essa regra pode executar são:
· Configurar as propriedades do Collector-Level
· Adicionar novos Collection-Sets
· Instalação de novos Collection Items
· Criação e permissão de executar os JOBS do SQL Server Agent
Dc_Operator Role
Usuários que possuem essa regra tem acesso de leitura e update , essa permissão suporta operações de excutar a configuração dos collections sets. Os membros dessa regra podem executar as seguintes operações:
· Iniciar ou parar os collection sets
· Ver as informações referentes aos collections sets
· Alterar as configurações dos collection sets
Dc_Proxy Role
Usuários que possuem essa regra tem acesso de leitura aos Data Collection Sets, é possível que também que tenham acesso a execução e criação do seu próprio JOB step, se o mesmo tiver uma conta de proxy criada.
Os membros dessa regra podem executar as seguintes operações:
· Visualização das informações do Collection Sets
· Informações dos eventos de run-time dos collection sets
Permissões para configuração do MDW
Dependendo da fixed database role que o usuário possua o mesmo poderá realizar acesso ao MDW. Em ordem do Maior-Privilêgio e do Menor-Privilêgio, temos as seguintes regras:
· Mdw_admin
· Mdw_writer
· Mdw_reader
Todas as regras são armazenadas no banco de sistema msdb. Por padrão nenhum usuário é membro dessas regras, todas as regras citadas teem que ser permitidas explicitamente.
Todos os logins que possuem a fixed server role sysadmintem acesso full a todas as view do DC.
Mdw_admin Role
Os usuários que possuem essa permissão possuem acesso total ao banco de dados, quando há mudança no schema do banco de dados o usuário necessita ter o acesso nível servidor de dc_admin para a instalação de um novo collector type.
Mdw_Writer Role
Acesso de escrita e leitura somente
Mdw_Readre Role
Acesso de leitura.
Configuração, MDW e Jobs.
1 – Configuração
Para realizar a configuração dessa nova feature realizaremos os seguintes passos:
Selecione o ícone do Data Collection.
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
Jobs do DC
Quando a instalação do DW é concluída, o mesmo realiza a criação de alguns JOBS para a coleta das informações. Devemos entender que os Collection Sets possuem seus Collection Items e esse são agendados para serem coletados em um periodo de tempo, sendo assim os JOBS se encarregam de rodar as rotinas do SSIS para que assim ele possa pegar as informações contidas no Temporary Stage e colocar dentro do MDW do DC. Assim toda a parte dos agendamentos e coletas são feitas pelos JOBS.
http://luanmorenodba.files.wordpress.com/2011/08/image_thumb7.png?w=324&h=149
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
http://www.pinaldave.com/bimg/mdw/mdw1.jpg
Nesse momento será aberto uma tela explicatica de configuração, clique em next
http://www.pinaldave.com/bimg/mdw/mdw2.jpg
Nessa tela será mostrado duas opção, utilize a primeira, ela fará com que você selecione em qual instância do SQL Server você deseja instalar o MDW.
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.
http://www.pinaldave.com/bimg/mdw/mdw5.jpg
http://www.pinaldave.com/bimg/mdw/mdw6.jpg
Depois da criação do banco de dados, agora é necessário realizar as permissões para um Login específico, como dito anteriormente, cada role representa um nível de autoridade para o Data Collector. Como você é quem está realizando a configuração, dê acesso para o seu Login de mdw_admin como mostrado na figura abaixo.
http://www.pinaldave.com/bimg/mdw/mdw7.jpg
Finalize a operação.
http://www.pinaldave.com/bimg/mdw/mdw8.jpg
http://www.pinaldave.com/bimg/mdw/mdw9.jpg
Agora que você realizou a criação do banco de dados e sabe aonde ficará seu repositório fiel e unificado de dados é necessário que seja configurado o **Temporary Stage. **Esse local é aonde os coletores irão jogar um arquivo temporário para que a o JOB contendo o pacote em SSIS realizará a inserção dos dados dentro do MDW.
http://www.pinaldave.com/bimg/mdw/mdw10.jpg
http://www.pinaldave.com/bimg/mdw/mdw11.jpg
http://www.pinaldave.com/bimg/mdw/mdw12.jpg
Agora escolha no seu servidor qual será a pasta que receberá os arquivos temporários do DC.
http://www.pinaldave.com/bimg/mdw/mdw13.jpg
http://www.pinaldave.com/bimg/mdw/mdw14.jpg
Configuração realizada com sucesso, agora o Data Collector está funcionando.
http://www.pinaldave.com/bimg/mdw/mdw15.jpg
Visualizando os Collection Sets que explicamos anteriormente.
http://www.pinaldave.com/bimg/mdw/mdw16.jpg
http://www.pinaldave.com/bimg/mdw/mdw17.jpg
http://www.pinaldave.com/bimg/mdw/mdw3.jpg
http://www.pinaldave.com/bimg/mdw/mdw4.jpg
Realize a criação do banco de dados na instância escolhida.