Compartir vía

Ejecución de consultas federadas en Teradata

  • Artículo

Importante

Esta característica está en versión preliminar pública.

En este artículo se describe cómo configurar la federación de Lakehouse para ejecutar consultas federadas en datos de Teradata que no están administrados por Azure Databricks. Para obtener más información sobre Lakehouse Federation, consulte ¿Qué es Lakehouse Federation?.

Para conectarse a la base de datos de Teradata mediante la federación de Lakehouse, debe crear lo siguiente en el metastore de Unity Catalog de Azure Databricks:

  • Una conexión a la base de datos de Teradata.
  • Un catálogo externo que refleje la base de datos Teradata en Unity Catalog para que pueda usar la sintaxis de consulta y las herramientas de gobernanza de datos de Unity Catalog para administrar el acceso de usuario de Azure Databricks a la base de datos.

Antes de empezar

Antes de empezar, asegúrese de cumplir los requisitos de esta sección.

Requisitos de Databricks

Requisitos del área de trabajo:

  • Área de trabajo habilitada para Unity Catalog.

Requisitos de proceso:

  • Conectividad de red desde su recurso de computación a los sistemas de bases de datos de destino. Consulte Recomendaciones de redes para Lakehouse Federation.
  • El cómputo de Azure Databricks debe usar Databricks Runtime 16.1 o superior y el modo de acceso compartido o modo de acceso de un solo usuario .
  • Los almacenes de SQL deben ser pro o sin servidor y deben usar 2024.50 o superior.

Permisos necesarios:

  • Para crear una conexión, debe ser administrador del metastore o usuario con el privilegio CREATE CONNECTION en el metastore de Unity Catalog adjunto al área de trabajo.
  • Para crear un catálogo externo, debe tener el permiso CREATE CATALOG en el metastore, y ser el propietario de la conexión o tener el privilegio CREATE FOREIGN CATALOG en la conexión.

Los requisitos de permisos adicionales se especifican en cada sección basada en tareas que se indica a continuación.

Requisitos de Teradata

  • TLS habilitado en el servidor host. De forma predeterminada, SSLMODE es REQUIRE. Para obtener más información, consulte Cómo proteger conexiones mediante TLS en la documentación de Teradata.

Creación de una conexión de Azure Databricks

Una conexión especifica una ruta de acceso y las credenciales para acceder a un sistema de base de datos externo. Para crear una conexión, puede usar el Explorador de catálogos o el comando CREATE CONNECTION de SQL en un cuaderno de Azure Databricks o el editor de consultas de Databricks SQL.

Nota:

También puede usar la API de REST de Databricks o la CLI de Databricks para crear una conexión. Consulte POST /api/2.1/unity-catalog/connections y Comandos de Unity Catalog.

Permisos necesarios: administrador del metastore o usuario con el privilegio CREATE CONNECTION.

Explorador de catálogo

  1. En el área de trabajo de Azure Databricks, haga clic en Icono catálogo Catálogo.

  2. En la parte superior del panel Catálogo, haga clic en el icono Icono agregar o más Agregar y seleccione Agregar una conexión en el menú.

    Como alternativa, en la página de acceso rápido, haga clic en el botón Datos externos >, vaya a la pestaña Conexiones y haga clic en Crear conexión.

  3. En la página Conceptos básicos de conexión del asistente para Configurar la conexión, escriba un Nombre de conexión intuitivo.

  4. Seleccione un Tipo de conexión de Teradata.

  5. (Opcional) Agregue un comentario.

  6. Haga clic en Siguiente.

  7. En la página Autenticación, escribe las siguientes propiedades de conexión para la instancia de Teradat:

    • Host: por ejemplo, teradata-demo.teradata.com
    • Puerto: por ejemplo, 1025
    • Usuario: por ejemplo, teradata_user
    • Contraseña: por ejemplo, password123

  8. Haga clic en Crear conexión.

  9. En la página Aspectos básicos del catálogo, escriba un nombre para el catálogo externo. Un catálogo externo refleja una base de datos en un sistema de datos externo para que pueda consultar y administrar el acceso a los datos de esa base de datos mediante Azure Databricks y Unity Catalog.

  10. (Opcional) Haga clic en Probar conexión para confirmar que funcione.

  11. Haga clic en Crear catálogo.

  12. En la página Acceso, seleccione las áreas de trabajo en las que los usuarios pueden acceder al catálogo que creó. Puede seleccionar Todas las áreas de trabajo tienen acceso, o hacer clic en Asignar a áreas de trabajo, seleccionar las áreas de trabajo y luego hacer clic en Asignar.

  13. Cambia el Propietario que podrá administrar el acceso a todos los objetos del catálogo. Comienza a escribir una entidad de seguridad en el cuadro de texto y, después, haz clic en la entidad de seguridad dentro de los resultados devueltos.

  14. Concede Privilegios en el catálogo. Haz clic en Conceder:

    1. Especifica las Entidades de seguridad que tendrán acceso a los objetos del catálogo. Comienza a escribir una entidad de seguridad en el cuadro de texto y, después, haz clic en la entidad de seguridad dentro de los resultados devueltos.
    2. Selecciona los Preajustes de privilegios que vas a conceder a cada entidad de seguridad. A todos los usuarios de la cuenta se les concede BROWSE por defecto.
      • Selecciona Lector de Datos en el menú desplegable para conceder los privilegios read en los objetos del catálogo.
      • Seleccione Editor de Datos en el menú desplegable para conceder read y modify privilegios sobre los objetos del catálogo.
      • Seleccione manualmente los privilegios que se van a conceder.
    3. Haga clic en Conceder.

  15. Haga clic en Siguiente.

  16. En la página Metadatos, especifica pares clave-valor de etiquetas. Para obtener más información, consulte Aplicar etiquetas a los objetos protegibles del Unity Catalog.

  17. (Opcional) Agregue un comentario.

  18. Haga clic en Guardar.

SQL

Ejecute el siguiente comando en un cuaderno o en el editor de consultas de Databricks SQL:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Databricks recomienda que utilice los secretos de Azure Databricks en lugar de cadenas de texto sin formato para valores confidenciales como las credenciales. Por ejemplo:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Si debe usar cadenas de texto no cifrado en comandos SQL de cuaderno, evite truncar la cadena mediante el escape de caracteres especiales como $ con \. Por ejemplo: \$.

Para obtener más información sobre la configuración de secretos, consulte Administración de secretos.

Creación de un catálogo externo

Nota:

Si usa la interfaz de usuario para crear una conexión con el origen de datos, se incluye la creación de catálogos externos y puede omitir este paso.

Un catálogo externo refleja una base de datos en un sistema de datos externo para que pueda consultar y administrar el acceso a los datos de esa base de datos mediante Azure Databricks y Unity Catalog. Para crear un catálogo externo, use una conexión al origen de datos que ya se ha definido.

Para crear un catálogo externo, puede usar el Explorador de catálogos o el comando SQL CREATE FOREIGN CATALOG en un cuaderno de Azure Databricks o el editor de consultas SQL.

También puede usar la API de REST de Databricks o la CLI de Databricks para crear un catálogo. Consulte POST /api/2.1/unity-catalog/catalogs y Comandos de Unity Catalog.

Permisos necesarios: permiso CREATE CATALOG en el metastore, y propiedad de la conexión o el privilegio CREATE FOREIGN CATALOG en la conexión.

Explorador de catálogo

  1. En el área de trabajo de Azure Databricks, haga clic en Icono catálogo Catálogo para abrir el Explorador de catálogos.

  2. En la parte superior del panel Catálogo, haga clic en el icono Icono agregar o más Agregar y seleccione Agregar un catálogo en el menú.

    Como alternativa, en la página Acceso rápido, haga clic en el botón Catálogos y, a continuación, haga clic en el botón Crear catálogo.

  3. Siga las instrucciones para crear catálogos externos en Crear catálogos.

SQL

Ejecute el siguiente comando SQL en un cuaderno o en un editor de consultas SQL. Los elementos entre corchetes son opcionales. Reemplace los valores del marcador de posición:

  • <catalog-name>: nombre del catálogo en Azure Databricks.
  • <connection-name>: El objeto de conexión que especifica el origen de datos, la ruta de acceso y las credenciales de acceso.
  • <database-name>: nombre de la base de datos que desea reflejar como un catálogo en Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Delegaciones admitidas

Se admiten las siguientes delegaciones:

  • Filtros
  • Proyecciones
  • Límite
  • Agregados
  • Elenco
  • Contiene, Empieza con, Termina con, Parecido a

Asignaciones de tipo de datos

Al leer de Teradata a Spark, los tipos de datos se asignan de la siguiente manera:

Tipo de Teradata Tipo de Spark
Byte, BLOB TipoBinario
Byteint, Smallint, Integer IntegerType
BigInt LongType
Flotante, Doble, Doble Precisión DoubleType
Number(n, m) DecimalType
Número (, m), Número(), Número No compatible
Varchar(N) StringType
Tiempo, Fecha y hora TimestampType