Partilhar via

Adicione o Amazon Managed Streaming for Apache Kafka (MSK) como origem no hub em tempo real

  • Artigo

Este artigo descreve como adicionar o Amazon Streaming for Apache Kafka (MSK) como uma fonte de eventos no hub Fabric Real-Time.

O Amazon MSK Kafka é um serviço Kafka totalmente gerenciado que simplifica a configuração, o dimensionamento e o gerenciamento. Ao integrar o Amazon MSK Kafka como uma fonte em seu fluxo de eventos, você pode facilmente trazer os eventos em tempo real do seu MSK Kafka e processá-los antes de roteá-los para vários destinos no Fabric. 

Pré-requisitos

  • Acesso a um espaço de trabalho no modo de licença de capacidade de malha (ou) no modo de licença de avaliação com permissões de Colaborador ou superiores.
  • Um cluster do Amazon MSK Kafka em status ativo.
  • Seu cluster do Amazon MSK Kafka deve ser acessível publicamente e não estar protegido por um firewall ou protegido em uma rede virtual.

Página de origens de dados

  1. Entre no Microsoft Fabric.

  2. Selecione Tempo Real na barra de navegação esquerda.

  3. Na página do hub em Tempo Real, selecione + Fontes de dados em Conectar a no menu de navegação esquerdo. Você também pode acessar a página Fontes de dados nas páginas Todos os fluxos de dados ou Meus fluxos de dados selecionando o botão + Conectar fonte de dados no canto superior direito.

    Captura de tela que mostra como iniciar a experiência Conectar à fonte de dados.

Adicione o Amazon Managed Streaming para Apache Kafka como fonte

  1. Na página Fontes de dados, selecione Amazon MSK Kafka.

    Captura de tela que mostra a seleção do Amazon MSK Kafka como o tipo de origem no assistente Obter eventos.

  2. Na página Conectar, selecione Nova conexão.

    Captura de tela que mostra a seleção do link Nova conexão na página Conectar do assistente Obter eventos.

  3. Na seção Configurações de conexão, para Servidor de Bootstrap, insira o ponto de extremidade público do cluster Kafka.

    Captura de tela que mostra a seleção do campo Servidor de inicialização na página Conectar do assistente Obter eventos.

    Para obter o ponto de extremidade público:

    Captura de tela que mostra o endpoint público do cluster do Amazon MSK.

  4. Na seção Credenciais de conexão, se você tiver uma conexão existente com o cluster do Amazon MSK Kafka, selecione-a na lista suspensa de Conexão. Caso contrário, siga estes passos:

    1. Em Nome da conexão, insira um nome para a conexão.
    2. Para Tipo de autenticação, confirme se a opção Chave de API está selecionada.
    3. Em Key and Secret, insira API key e key Secret for Amazon MSK Kafka cluster.

  5. Selecione Ligar. 

  6. Agora, na página Conectar, siga estas etapas.

    1. Em Tópico, insira o tópico Kafka.

    2. Em Grupo de consumidores, insira o grupo de consumidores do seu cluster Kafka. Este campo fornece um grupo de consumidores dedicado para obter eventos.

    3. Selecione Redefinir deslocamento automático para especificar por onde começar a ler deslocamentos se não houver confirmação.

    4. Para o protocolo de segurança, o valor padrão é SASL_SSL. O mecanismo SASL padrão é SCRAM-SHA-512 e não pode ser alterado.

      Captura de tela que mostra a primeira página das configurações de conexão do Amazon MSK Kafka.

  7. Selecione Seguinte. No ecrã Rever + ligar, reveja o resumo e, em seguida, selecione Ligar.

Ver detalhes do fluxo de dados

  1. Na página Revisar + conectar, se você selecionar Abrir fluxo de eventos, o assistente abrirá o fluxo de eventos criado para você com a fonte selecionada do Amazon Managed Streaming for Apache Kafka. Para fechar o assistente, selecione Fechar na parte inferior da página.

  2. No hub em tempo real, alterne para a guia Fluxos de dados do hub em tempo real. Atualize a página. Você deve ver o fluxo de dados criado para você.

    Para obter etapas detalhadas, consulte Exibir detalhes de fluxos de dados no hub Fabric Real-Time.

Conteúdos relacionados

Para saber mais sobre como consumir fluxos de dados, consulte os seguintes artigos: