Incorporación de parámetros a los componentes de Data Factory

Completado

Parametrización de servicios vinculados en Azure Data Factory

En Azure Data Factory, es posible parametrizar un servicio vinculado por el que se puedan pasar valores dinámicos en tiempo de ejecución. Un caso de uso de este escenario es la conexión a varias bases de datos diferentes que se encuentren en el mismo servidor SQL, donde podría plantearse parametrizar el nombre de la base de datos en la definición del servicio vinculado. La ventaja de hacer esto es que no es necesario crear un único servicio vinculado para cada base de datos que se encuentre en el mismo servidor SQL.

También es posible parametrizar otras propiedades del servicio vinculado, como un nombre de usuario.

Si decide parametrizar servicios vinculados en Azure Data Factory, tiene la posibilidad de hacerlo en la interfaz de usuario de Azure Data Factory, Azure Portal o la interfaz de programación que prefiera.

Si decide crear el servicio vinculado mediante la interfaz de usuario, Data Factory puede proporcionar parametrización integrada para algunos de los conectores:

• Amazon Redshift
• Azure Cosmos DB (API de SQL)
• Azure Database for MySQL
• Azure SQL Database
• Azure Synapse Analytics (anteriormente SQL DW)
• MySQL
• Oracle
• SQL Server
• HTTP genérico
• REST genérico

Si va a la hoja creación o edición del servicio vinculado, encontrará las opciones de parametrización.

Si no puede usar la parametrización integrada porque utiliza otro tipo de conector, puede editar el archivo JSON desde la interfaz de usuario.

En el panel de creación o edición del servicio vinculado, expanda Opciones avanzadas en la parte inferior del panel, active la casilla Especificar contenido dinámico en formato JSON y especifique la carga JSON del servicio vinculado.

O bien, después de crear un servicio vinculado sin parametrización, en el centro de administración, seleccione Servicios vinculados y busque el servicio vinculado específico. Después, seleccione {} (el botón Código) para editar el archivo JSON.

Parámetros globales en Azure Data Factory

La configuración de parámetros globales en una canalización de Azure Data Factory permite usar estas constantes para su consumo en expresiones de canalización. Un caso de uso para establecer parámetros globales es cuando se tienen varias canalizaciones en las que los nombres y valores de los parámetros son idénticos.

Si usa el proceso de integración e implementación continuas (CI/CD) con Azure Data Factory, puede invalidar los parámetros globales, si lo quiere, para cada uno de los entornos que haya creado.

Creación de parámetros globales en Azure Data Factory

Para crear un parámetro global, vaya a la pestaña Parámetros globales de la sección Administrar. Seleccione Nuevo para abrir el panel del menú lateral de creación.

En el panel del menú lateral, escriba un nombre, seleccione un tipo de datos y especifique el valor del parámetro.

Después de crear un parámetro global, puede editarlo sin selecciona el nombre del parámetro. Para modificar varios parámetros juntos, seleccione Editar todo.

Uso de parámetros globales en una canalización

Cuando se usan parámetros globales en una canalización de Azure Data Factory, la mayoría de las veces se hace referencia a ellos en las expresiones de canalización. Por ejemplo, si una canalización hace referencia a un recurso como un conjunto de datos o un flujo de datos, puede pasar el valor del parámetro global mediante el parámetro de recurso. El comando o la referencia de los parámetros globales en Azure Data Factory fluye de esta forma: pipeline().globalParameters.<parameterName>.

Parámetros globales en CI/CD

Al integrar parámetros globales en una canalización mediante CI/CD con Azure Data Factory, hay dos maneras de hacerlo:

• Incluir parámetros globales en la plantilla de Azure Resource Manager
• Implementar los parámetros globales mediante un script de PowerShell

En la mayoría de los procedimientos de CI/CD, es recomendable incluir parámetros globales en la plantilla de Azure Resource Manager. Se recomienda debido a su integración nativa con CI/CD, donde los parámetros globales se agregan como un parámetro de plantilla de Azure Resource Manager. Esto se debe a cambios en varios entornos en los que se trabaja.

Para habilitar los parámetros globales en una plantilla de Azure Resource Manager, vaya al centro de administración. Tenga en cuenta que después de agregar parámetros globales a una plantilla de Azure Resource Manager, se agrega una configuración de nivel de Azure Data Factory, que puede invalidar otras opciones, como las configuraciones de Git.

El caso de uso para implementar parámetros globales mediante un script de PowerShell podría deberse a que se haya habilitado la configuración descrita antes en un entorno con privilegios elevados, como UAT o PROD.

Parametrización de flujos de datos de asignación

En Azure Data Factory, puede usar flujos de datos de asignación, que le permiten utilizar parámetros. Si establece parámetros en una definición de flujo de datos, puede usar los parámetros en expresiones. La canalización que realiza la llamada puede establecer los valores de parámetros mediante la actividad de ejecución de flujo de datos.

Hay tres opciones para establecer los valores en las expresiones de actividad del flujo de datos:

• Use el lenguaje de expresiones de flujo de control de canalización para establecer un valor dinámico.
• Use el lenguaje de expresiones de flujo de datos para establecer un valor dinámico.
• Use cualquiera de los lenguajes de expresiones para establecer un valor literal estático.

El motivo de parametrizar los flujos de datos de asignación es garantizar que los flujos de datos estén generalizados y sean flexibles y reutilizables.

Creación de parámetros en el flujo de datos

Para agregar parámetros al flujo de datos, seleccione la parte en blanco del lienzo del flujo de datos para ver las propiedades generales.

En el panel Configuración verá una pestaña Parámetro.

Seleccione Nuevo para generar un nuevo parámetro. Para cada parámetro, debe asignar un nombre, seleccionar un tipo y opcionalmente establecer un valor predeterminado.

Asignación de parámetros de una canalización en el flujo de datos de asignación

Si ha creado un flujo de datos en el que ha establecido parámetros, es posible ejecutarlo desde una canalización mediante la actividad de ejecución de flujo de datos.

Una vez que haya agregado la actividad al lienzo de la canalización, encontrará los parámetros del flujo de datos en la pestaña Parámetros de la actividad.

Al asignar los valores de los parámetros, podrá usar los parámetros en un lenguaje de expresión de la canalización o en el lenguaje de expresión del flujo de datos, en función de los tipos de Spark. También puede combinar ambos; es decir, los parámetros de expresión del flujo de datos y de la canalización.