Quando usar o HDInsight
A maior força do HDInsight é a gama de diferentes configurações que o serviço oferece. Ele permite que você suporte uma ampla variedade de cargas de trabalho. Essas cargas de trabalho podem ser processamento em lote de dados, trabalho com streaming de dados ou gerenciamento de data warehouses e/ou cargas de trabalho de ciência de dados. Esse recurso torna o HDInsight uma escolha atraente, especialmente se o seu processo de negócios contiver várias cargas de trabalho.
Por exemplo, se a sua organização apenas cria um armazém de dados para apresentar relatórios históricos através do Power BI, poderá ser pragmático utilizar o SQL Data Warehouse do Azure com o Power BI. Da mesma forma, se sua organização executar análises avançadas com uma solução de ciência de dados e nada mais, talvez seja apropriado usar apenas o Azure Databricks.
No entanto, se as cargas de trabalho da sua organização envolverem a ingestão de dados para relatórios históricos e análises avançadas, e você tiver dados de streaming que exijam análise, o HDInsight é uma escolha pragmática. Todos os dados podem ser ingeridos em um único local do Data Lake. Em seguida, você pode usar a configuração correta do HDInsight para gerenciar processamento em lote, data warehousing, operações de ciência de dados e cargas de trabalho de streaming. Como há separação entre a computação e o armazenamento, isso pode ser feito perfeitamente em cima dos mesmos dados. Além disso, você estará minimizando o custo do armazenamento à medida que as operações são executadas em um único armazenamento, em vez de vários armazenamentos de dados.
Diferenciais do HDInsight
Para além dos cenários acima descritos. Abaixo estão os principais diferenciais que tornam o HDInsight ideal para cargas de trabalho de Big Data:
- Computação e armazenamento escaláveis de forma independente
- Dimensionamento automático de nós de trabalho com base na carga de trabalho ou agendamento
- Flexibilidade e tolerância a falhas de nós mestres
- Segurança Empresarial
- SDK
A separação de computação e armazenamento, juntamente com o dimensionamento automático de cluster dependendo da carga de trabalho ou do cronograma, pode levar a otimizações de custos significativas. Os nós mestres do HDInsight são resistentes a falhas. Os nós mestres são apoiados por máquinas virtuais tolerantes a falhas, levando a um serviço altamente disponível com um SLA de 99,9%. A integração do Microsoft Entra tem os recursos de segurança corporativa de autenticação e autorização. Esses recursos, juntamente com criptografia e suporte de rede virtual, oferecem controle granular de quem pode acessar os dados. O HDInsight é apoiado por uma variedade de SDKs, que permitem a criação e o desenvolvimento de clusters em vários idiomas em uma variedade de IDEs.