Planeje, dimensione e mantenha uma solução de gateway crítica para os negócios
Este artigo destina-se a qualquer pessoa que planeje implantar um gateway de dados local em um cenário crítico para os negócios. Um gateway de dados local é essencial para os negócios se for vital para a operação normal da sua empresa e lidar com dados críticos para os negócios.
Se os gateways críticos para os negócios não forem gerenciados corretamente, você poderá enfrentar consultas com falha ou desempenho lento. Quando você planeja, dimensiona e mantém adequadamente sua solução de gateway crítica para os negócios, a probabilidade de um problema com impacto nos negócios pode ser minimizada.
Terminologia
Os seguintes termos importantes são usados ao longo deste artigo:
- Gateway: o aplicativo de gateway de dados local instalado em um computador.
- Servidor gateway: um computador Windows (máquina virtual ou computador/servidor físico) que tem o aplicativo de gateway de dados local instalado.
- Cluster de gateway: um conjunto de gateways que trabalham juntos (e podem ter balanceamento de carga).
- Membro do gateway: um gateway que faz parte de um cluster de gateway.
A imagem a seguir demonstra a relação entre os conceitos definidos acima.
Recomendações para gateways críticos para os negócios
Para gateways críticos para os negócios, os gateways precisam ser implantados e gerenciados adequadamente para garantir alta disponibilidade, bom desempenho e escalabilidade sustentável. A implantação incorreta de gateways pode resultar em baixo desempenho, consultas com falha e dificuldade no diagnóstico de possíveis problemas. Isso também pode impedir sua capacidade de aumentar e diminuir os gateways à medida que o uso cresce.
Para garantir escalabilidade, desempenho e taxa de transferência ideais, siga as recomendações nas próximas seções.
Conheça todas as suas chaves de recuperação de gateway
Certifique-se de que todas as chaves de recuperação do gateway sejam conhecidas e mantidas em um local seguro. Sem uma chave de recuperação, os gateways não podem ser recuperados ou rebaixados. Esta limitação é por design. Se você perder suas chaves de recuperação, a única opção é criar novos gateways e recriar as fontes de dados. Além disso, não é possível adicionar novos gateways ao cluster sem a chave de recuperação, o que limitaria a escalabilidade futura.
Armazene suas chaves de recuperação em um local seguro, assim como armazenaria credenciais administrativas, como um cofre com senha, que pode ser acessado apenas por administradores autorizados.
Se você atualmente não conhece todas as chaves de recuperação do gateway, esse é um risco comercial significativo. Crie imediatamente novos clusters de gateway e comece a migrar cargas de trabalho para os clusters de gateway.
Cargas de trabalho de desenvolvimento e cargas de trabalho críticas para os negócios
Separe as cargas de trabalho de desenvolvimento das cargas de trabalho críticas para os negócios configurando um ou mais clusters de gateway de desenvolvimento e um ou mais clusters de gateway de produção, conforme descrito abaixo.
Use um cluster de gateway de desenvolvimento para testar novos modelos semânticos, relatórios, consultas e assim por diante. Depois que uma nova carga de trabalho for verificada, migre-a para um cluster de gateway crítico para os negócios. Esse processo impede que cargas de trabalho novas, não testadas ou experimentais tenham impactos no desempenho das cargas de trabalho de produção.
Use também o(s) cluster(s) de gateway de desenvolvimento para testar novas atualizações de gateway antes de aplicar atualizações aos clusters de gateway críticos para os negócios. As novas atualizações de gateway devem ser implantadas por um período mínimo de 24 horas no(s) cluster(s) de gateway de desenvolvimento antes de serem usadas no(s) cluster(s) de gateway crítico(s) para os negócios.
Usar vários clusters de gateway
Se você estiver criando um cluster de gateway para um grande número de usuários em sua organização, precisará criar vários clusters de gateway com base em unidades de negócios ou menores para limitar qualquer impacto potencial no desempenho a um pequeno subconjunto de usuários.
Não recomendamos que um único cluster de gateway crítico para os negócios seja usado para uma empresa inteira (a menos que a empresa seja pequena). Em um único cenário de cluster de gateway, um usuário poderia enviar uma consulta que causa um impacto significativo no desempenho de todo o tráfego no gateway. Se o gateway for usado em toda a empresa, o impacto no desempenho poderá afetar toda a empresa. Além disso, quando um cluster de gateway é usado em toda a empresa, pode ser mais difícil identificar qual consulta pode estar causando um problema de desempenho ao usar o recurso de monitoramento de desempenho do gateway.
Usar os recursos de alta disponibilidade e balanceamento de carga do gateway
Use sempre os recursos de alta disponibilidade e balanceamento de carga do gateway para qualquer cluster de gateway crítico para os negócios.
- Alta disponibilidade: Elimina ter um único ponto de falha.
- Balanceamento de carga: distribui automaticamente a carga de trabalho entre todos os servidores gateway no cluster.
Configure um mínimo de dois gateways por cluster de gateway caso um gateway fique offline por qualquer motivo. Essa configuração garante que uma única falha de gateway não cause falha em todo o cluster de gateway. Além disso, os limites de CPU, memória e simultaneidade podem ser habilitados nos gateways para distribuir melhor a carga pelo cluster de gateway.
Planejar e manter a escalabilidade do cluster de gateway
Configurar um cluster de gateway usando nossas diretrizes recomendadas de hardware e software garante que o cluster seja executado com bom desempenho. Gateways que não são dimensionados corretamente podem resultar em baixo desempenho. Há muitos fatores que você deve considerar para ter um bom desempenho em seu cluster de gateway.
Determinar as especificações de hardware do servidor gateway
As especificações do servidor gateway (CPU, memória, disco e assim por diante) são um fator importante, pois na maioria dos casos, as transformações do Power Query são aplicadas aos dados no servidor gateway. Como tal, um servidor gateway precisa ter recursos, memória e poder de processamento suficientes para lidar com todas as transformações de dados.
Quando você precisa escolher um tamanho de servidor, há duas métricas que são mais importantes: Memória e CPU. Você precisa de muita memória e energia da CPU para processar as etapas de transformação de dados do Power Query no gateway. É importante que seu servidor gateway seja poderoso o suficiente para processar a carga de trabalho mais alta que você tem. Se o servidor gateway não conseguir lidar com a carga de trabalho, sua consulta direta ou atualização de dados falhará. Também é importante entender quantas consultas são executadas ao mesmo tempo.
Essas diferentes opções de consulta têm um efeito diferente no servidor gateway.
| Tipo de consulta | Fator Limite |
|---|---|
| Importar | Memória |
| DirectQuery | CPU |
| LiveConnect | CPU |
Durante uma importação, todo o conjunto de dados precisa ser consultado e processado, o que é uma tarefa pesada em termos de memória. Muitas vezes, esta importação também demora mais tempo. DirectQueries e LiveConnections são geralmente pesados de CPU. Na maioria dos casos, as consultas diretas são executadas muitas vezes para processar apenas uma pequena parte dos dados. Como apenas uma pequena parte dos dados é processada, essas consultas diretas normalmente não são uma tarefa pesada em termos de memória. No entanto, como as consultas são executadas muitas vezes sob demanda, isso pode exigir muita CPU.
Dependendo da carga de trabalho, considere otimizar o servidor gateway para memória ou CPU.
Quando dimensionar um cluster de gateway
O dimensionamento é um aspeto importante de um cluster de gateway crítico para os negócios. À medida que seu uso com o cluster de gateway cresce, o cluster de gateway precisa ser ampliado e/ou expandido para garantir um bom desempenho. Recomendamos que você comece a dimensionar um cluster de gateway se tiver ampliado anteriormente os gateways no cluster.
Dimensionar e distribuir a carga de tráfego entre nós individuais dentro de um cluster é um processo complexo que varia dependendo de cada cenário individual. Embora não haja um modelo definitivo para garantir que todo o tráfego do gateway será atendido de forma previsível, os limites listados abaixo indicam uma necessidade de dimensionamento. Em geral, recomendamos o dimensionamento (adição de nós ao cluster) preferencialmente ao escalonamento (aumento da CPU, RAM ou espaço em disco em nós individuais). A expansão tende a ser mais eficaz em geral na capacidade do sistema como um todo de lidar com tráfego extra. A expansão também tem um impacto positivo na largura de banda total que o cluster pode processar, enquanto a expansão geralmente não. Quando um ou mais nós de gateway mostram indicações de atingir os limites descritos abaixo, a expansão do cluster deve ser fortemente considerada.
CPU: A CPU está acima de 80% por longos períodos de tempo, no entanto, picos curtos ocasionais (menos de 5 minutos) que maximizam CPUs não são anormais.
RAM: A memória disponível cai abaixo de 20% regularmente.
Disco: O espaço livre em disco cai abaixo de 5 GB com frequência. Essa queda também pode indicar a necessidade de configurar diretórios de cache ou spooling de forma mais estratégica.
Simultaneidade: Execução simultânea de mais de 40 consultas em um único nó.
Como as atualizações e consultas distribuídas entre nós de gateway podem ter perfis muito diferentes, também recomendamos que um escrutínio extra seja colocado em trabalhos de longa execução ou que consomem muita memória. A otimização de consultas nesses casos pode ter um enorme impacto no desempenho e na escalabilidade, não apenas para os relatórios e atualizações individuais, mas no sistema como um todo. Recomendamos isolar as atualizações em questão em um único cluster de gateway dedicado para avaliar as características de desempenho e executar a otimização usando diagnósticos de plano de consulta, indicadores de dobragem e todas as outras recomendações de desempenho publicadas. Esse isolamento minimiza a quantidade de dados recuperados e a quantidade de pós-processamento necessária. Esse isolamento também pode ser usado como uma estratégia de longo prazo para sequestrar trabalhos ETL de longa execução em um cluster de gateway dedicado, a fim de reduzir a contenção com outras atualizações típicas em toda a organização.
Dimensionamento de um cluster de gateway
A expansão ocorre quando você aumenta as especificações (CPU, memória, disco e assim por diante) dos servidores gateway.
A expansão pode ser necessária se a CPU ou memória máxima for atingida quando o gateway executar uma ou mais consultas. Uma consulta só pode ser executada em um servidor gateway, e é por isso que o servidor gateway deve ter recursos suficientes disponíveis para processar toda a consulta junto com os dados resultantes.
Dimensionamento de um cluster de gateway
A expansão é necessária se o servidor gateway já tiver especificações altas (em outras palavras, o servidor gateway já foi dimensionado) ou se você tiver atingido os limites do que um único servidor gateway pode gerenciar devido ao número de consultas simultâneas que estão sendo executadas. O aumento de carga amplo em todo o conjunto de membros do gateway é uma boa indicação de que dimensionar um cluster adicionando nós é o curso de ação correto. Quando dimensionar um cluster de gateway fornece limites específicos que indicam quando é hora de escalar. Para obter mais informações sobre dimensionamento, vá para Usar os recursos de alta disponibilidade e balanceamento de carga do gateway.
Dimensionamento criando novos clusters de gateway
Se o uso de recursos do cluster de gateway for alto ou um número excepcionalmente grande de usuários depender de um cluster de gateway, um novo cluster de gateway poderá ser criado. Um subconjunto da carga de trabalho pode ser migrado para o novo cluster de gateway. Quando um grande número de usuários depende de um único cluster de gateway, a probabilidade de um usuário enviar uma consulta que causa um impacto significativo no desempenho em todo o cluster de gateway aumenta significativamente.
Um número excepcionalmente grande de usuários que dependem de um único cluster de gateway é um indicador de que um novo cluster de gateway deve ser criado.
Monitoramento e solução de problemas de desempenho do gateway
É importante monitorar o desempenho geral de gateways críticos para os negócios usando o recurso de monitoramento de desempenho de gateway. Você também pode usar esse recurso para solucionar problemas de desempenho, identificar gargalos e identificar consultas que estão afetando o desempenho geral do gateway. Esse recurso também é uma ferramenta importante para ajudá-lo a determinar quando dimensionar um cluster de gateway.
Se você identificar uma consulta como tendo um grande impacto no gateway, resultando em baixo desempenho geral, poderá reescrever a consulta para ser mais eficiente e minimizar o impacto no desempenho.
Se a Microsoft identificar um desempenho insatisfatório causado por um gateway ou um componente relacionado ao gateway, como uma Capacidade Premium do Power BI sobrecarregada, o componente sobrecarregado deverá ser corrigido dimensionando ou reduzindo a carga. A Microsoft não investiga o mau desempenho quando um gateway ou um componente relacionado ao gateway está sobrecarregado.