Compartir vía

Administración de clústeres de Apache Hadoop en HDInsight mediante Azure Portal

  • Artículo

Al usar Azure Portal, puede administrar clústeres de Apache Hadoop en Azure HDInsight. Use el selector de pestañas para obtener información sobre cómo administrar clústeres de Hadoop en HDInsight con otras herramientas.

Requisitos previos

Un clúster existente de Apache Hadoop en HDInsight. Para obtener más información, consulte Crear clústeres basados en Linux en HDInsight con Azure Portal.

Introducción

Inicie sesión en el portal.

Enumeración y visualización de clústeres

En la página de clústeres de HDInsight se muestran los clústeres existentes. En el portal:

  1. En el menú izquierdo, seleccione Todos los servicios.
  2. Seleccione Clústeres de HDInsight en ANALYTICS.

Página principal del clúster

En la página clústeres de HDInsight, seleccione el nombre del clúster. Se abre el panel Información general y tiene un aspecto similar a la siguiente imagen.

Recorte de pantalla que muestra los aspectos básicos del clúster de HDInsight de Azure Portal.

Menú superior

Elemento Descripción
Mover mueve el clúster a otro grupo de recursos o a otra suscripción.
Eliminar elimina el clúster.
Actualizar Actualiza la vista.

Menú de la izquierda

El menú izquierdo tiene varias secciones.

Menú superior izquierdo

Elemento Descripción
Información general Proporcione información general para el clúster.
Registro de actividad muestra y consulta los registros de actividad.
Control de acceso (IAM) usa asignaciones de roles. Consulte Asignación de roles de Azure mediante Azure Portal.
Etiquetas Establezca pares clave-valor para definir una taxonomía personalizada de los servicios en la nube. Por ejemplo, puede crear una clave denominada proyectoy luego usar un valor común para todos los servicios asociados a un proyecto específico.
Diagnóstico y solución de problemas muestra información de solución de problemas.
Guía de inicio rápido Mostrar información que le ayude a empezar a usar HDInsight.
Herramientas Información de ayuda para herramientas relacionadas con HDInsight.

Menú Configuración

Elemento Descripción
Tamaño del clúster comprueba, aumenta o reduce el número de nodos de trabajo del clúster. Consulte Escalado de clústeres.
Límites de cuota muestra los núcleos utilizados y disponibles de la suscripción.
SSH e inicio de sesión del clúster Muestre las instrucciones para conectarse al clúster mediante una conexión de Secure Shell (SSH). Para más información, consulte Uso SSH con HDInsight.
Azure Data Lake Storage Gen2 Configure el acceso a Data Lake Storage Gen2. Consulte Quickstart: Configuración de clústeres en HDInsight.
Cuentas de almacenamiento muestra las cuentas de almacenamiento y las claves. Las cuentas de almacenamiento se configuran durante el proceso de creación del clúster.
Aplicaciones Agregue o quite aplicaciones de HDInsight. Vea Instalación de aplicaciones de HDInsight personalizadas.
Acciones de script ejecuta scripts de Bash en el clúster. Consulte Personalización de clústeres de HDInsight mediante la acción de scripts (Linux).
Tiendas de metadatos externas consulte las tiendas de metadatos de Apache Hive y Apache Oozie. Solo puede configurar los metastores durante el proceso de creación del clúster.
Asociado de HDInsight Agregue o quite el asociado de HDInsight actual.
Propiedades vea las propiedades del clúster.
Bloqueos Agregue un bloqueo para evitar que el clúster se modifique o elimine.
Exportación de la plantilla muestra y exporta la plantilla de Azure Resource Manager para el clúster. Actualmente, solo puede exportar la cuenta de Azure Storage dependiente. Consulte Creación de clústeres de Apache Hadoop basados en Linux en HDInsight con plantillas de Azure Resource Manager.

Menú Supervisión

Elemento Descripción
Alertas administra las alertas y acciones.
Métricas Supervise las métricas del clúster en los registros de Azure Monitor.
Configuración de diagnóstico Establezca dónde almacenar las métricas de diagnóstico.
Azure Monitor Supervise el clúster en Azure Monitor

Menú Soporte y solución de problemas

Elemento Descripción
Estado de los recursos consulte Introducción a Azure Resource Health.
Nueva solicitud de soporte técnico Cree un vale de soporte con Soporte técnico de Microsoft.

Propiedades de clúster

En la página principal del clúster, en Configuración, seleccione Propiedades.

Elemento Descripción
NOMBRE DE HOST Nombre del clúster.
DIRECCIÓN URL DEL CLÚSTER La dirección URL para la interfaz web de Ambari.
Punto de conexión privado El punto de conexión privado del clúster.
Secure Shell Nombre de usuario y nombre de host que se va a usar para acceder al clúster a través de SSH.
ESTADO Uno de los siguientes: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued o ClusterCustomization.
REGIÓN ubicación de Azure. Para una lista de ubicaciones de Azure admitidas, vea el cuadro de lista desplegable Región en Precios de HDInsight.
FECHA DE CREACIÓN la fecha en que se implementó el clúster.
SISTEMA OPERATIVO Windows o Linux.
TYPE Hadoop, HBase o Spark.
Versión Consulte Versiones de HDInsight.
Versión de TLS mínima Versión del protocolo de Seguridad de la capa de transporte (TLS).
SUBSCRIPTION el nombre de la suscripción.
ORIGEN DE DATOS PREDETERMINADO el sistema de archivos predeterminado del clúster.
Tamaño de los nodos de trabajo Tamaño de la máquina virtual (VM) seleccionada de los nodos de trabajo.
Tamaño del nodo principal el tamaño de máquina virtual seleccionado de los nodos principales.
Red virtual El nombre de la red virtual en la que se implementa el clúster (en caso de haber seleccionado uno durante la implementación).

Mover clústeres

Puede mover un clúster de HDInsight a otro grupo de recursos de Azure u otra suscripción.

En la página principal del clúster:

  1. En el menú superior, seleccione Mover.

  2. Seleccione Mover a otro grupo de recursos o Mover a otra suscripción.

  3. Siga las instrucciones de la nueva página.

Eliminación de clústeres

Al eliminar un clúster, no se elimina la cuenta de almacenamiento predeterminada ni otras cuentas de almacenamiento vinculadas. Puede volver a crear el clúster con las mismas cuentas de almacenamiento y las mismas tiendas de metadatos. Se recomienda usar un nuevo contenedor de blobs predeterminado al volver a crear el clúster.

En la página principal del clúster:

  1. En el menú superior, seleccione Eliminar.
  2. Siga las instrucciones de la nueva página.

Para obtener más información, consulte Pausar o apagar clústeres.

Agregar más cuentas de almacenamiento

Puede agregar más cuentas de Azure Storage y cuentas de Azure Data Lake Storage después de crear un clúster. Para más información, consulte Adición de más cuentas de almacenamiento a HDInsight.

Escalado de clústeres

Puede usar la característica de escalado de clústeres para cambiar el número de nodos de trabajo que usa un clúster de HDInsight, sin tener que volver a crear el clúster.

Para más información, consulte Escalabilidad de clústeres de HDInsight.

Pausar o apagar clústeres

La mayoría de los trabajos de Hadoop son trabajos por lotes que solo se ejecutan ocasionalmente. Para la mayoría de los clústeres de Hadoop, hay grandes periodos de tiempo en que el clúster no se usa para el procesamiento. Con HDInsight, los datos se almacenan en Azure Storage, por lo que puede eliminar un clúster de forma segura cuando no se esté usando. Los clústeres de HDInsight se cobran aunque no se estén usando. Como en muchas ocasiones los cargos por el clúster son mucho más elevados que los cargos por el almacenamiento, desde el punto de vista económico tiene sentido eliminar clústeres cuando no se usen.

Puede programar el proceso de muchas maneras. Puede usar:

Para obtener información sobre los precios, consulte Precios de HDInsight. Para eliminar un clúster desde el portal, vea Eliminación de clústeres.

Actualización de clústeres

Para obtener más información, consulte Actualización de un clúster de HDInsight a una versión más reciente.

Apertura de la interfaz de usuario web de Apache Ambari

Ambari proporciona una interfaz de usuario web de administración de Hadoop intuitiva y fácil de usar respaldada por sus API RESTful. Con Ambari, los administradores del sistema pueden administrar y supervisar clústeres de Hadoop.

En la página principal del clúster:

  1. Seleccione Paneles de clúster.

    Recorte de pantalla que muestra el menú del clúster de Apache Hadoop de HDInsight.

  2. En la nueva página, seleccione Inicio de Ambari.

  3. Escriba el nombre de usuario y la contraseña del clúster. El nombre de usuario predeterminado del clúster es admin.

Para obtener más información, consulte Administración de clústeres de HDInsight con la interfaz de usuario web de Apache Ambari.

Cambio de contraseñas

Un clúster de HDInsight puede tener dos cuentas de usuario. La cuenta de usuario del clúster de HDInsight (cuenta de usuario HTTP) y la cuenta de usuario de SSH se crean durante el proceso de creación. Puede usar el portal para cambiar la contraseña de la cuenta de usuario del clúster, y usar las acciones de script para cambiar la cuenta de usuario de SSH.

Cambio de la contraseña de usuario del clúster

Nota:

Cambiar la contraseña de usuario del clúster (administrador) puede provocar un error en las acciones de script que se ejecutan en este clúster. Si tiene cualquier acción de script persistente cuyo destino son nodos de trabajo, estos scripts pueden producir un error al agregar nodos al clúster a través de operaciones de cambio de tamaño. Para más información sobre acciones de script, consulte Personalización de clústeres de HDInsight mediante la acción de scripts (Linux).

En la página principal del clúster:

  1. En Configuración, seleccione Inicio de sesión de SSH y clúster.
  2. Seleccione Restablecer credenciales.
  3. Escriba y confirme una nueva contraseña en los cuadros de texto.
  4. Seleccione Aceptar.

La contraseña cambia en todos los nodos del clúster.

Cambio de la contraseña de usuario o la clave pública de SSH

  1. Use un editor de texto para guardar el texto siguiente como un archivo denominado changecredentials.sh.

    Importante

    Debe usar un editor que use LF como final de línea. Si el editor usa CRLF, el script no funcionará.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Cargue el archivo en una ubicación de almacenamiento a la que pueda acceder desde HDInsight mediante una dirección HTTP o HTTPS. Un ejemplo es un almacén de archivos público, como OneDrive o Azure Blob Storage. Guarde el URI (dirección HTTP o HTTPS) en el archivo. El URI es necesario en el paso siguiente.

  3. En la página principal del clúster, en Configuración, seleccione Acciones de script.

  4. En la página Acciones de script, seleccione Enviar nuevo.

  5. En la página Enviar acción de script, escriba la información de la tabla siguiente.

    Nota:

    Las contraseñas SSH no pueden contener los siguientes caracteres: " ' ' / \ < % ~ | $ & ! #

    Campo Value
    Tipo de script Seleccione - Custom en la lista desplegable.
    Nombre "Cambiar credenciales de SSH".
    URI de script de Bash Identificador URI del archivo changecredentials.sh.
    Tipos de nodo: Head, Worker, Nimbus, Supervisor o ZooKeeper Seleccione ✓ para todos los tipos de nodo enumerados.
    Parámetros Escriba el nombre de usuario de SSH y escriba la nueva contraseña. Solo debe haber un espacio entre el nombre de usuario y la contraseña.
    Conservar esta acción de script... Deje este campo en blanco.

  6. Seleccione Crear para aplicar el script. Una vez finalizado el script, puede conectarse al clúster mediante SSH con las nuevas credenciales.

Búsqueda del identificador de la suscripción

Cada clúster está asociado a una suscripción de Azure. El identificador de suscripción de Azure está visible en la página principal del clúster.

Búsqueda del grupo de recursos

En el modo de Resource Manager, cada clúster de HDInsight se crea con un grupo de Resource Manager. El grupo de Resource Manager está visible en la página principal del clúster.

Búsqueda de las cuentas de almacenamiento

Los clústeres de HDInsight usan una cuenta de Azure Storage o Data Lake Storage para almacenar datos. Cada clúster de HDInsight puede tener una cuenta de almacenamiento predeterminada y muchas cuentas de almacenamiento vinculadas. Para enumerar las cuentas de almacenamiento, en la página principal del clúster, en Configuración, seleccione Cuentas de almacenamiento.

Supervisión de trabajos

Para obtener más información, consulte Administración de clústeres de HDInsight con la interfaz de usuario web de Apache Ambari.

Tamaño del clúster

El icono Tamaño del clúster de la página principal del clúster muestra el número de núcleos asignados a este clúster y cómo se asignan a los nodos de este clúster.

Importante

Para supervisar los servicios proporcionados por el clúster de HDInsight, debe usar la interfaz de usuario web de Ambari o la API de REST de Ambari. Para más información sobre el uso de Ambari, consulte Administración de clústeres de HDInsight con Apache Ambari.

Conectarse a un clúster

Contenido relacionado

En este artículo ha aprendido algunas funciones administrativas básicas. Para más información, vea los siguientes artículos: