Inicio rápido: Creación de un trabajo de Stream Analytics mediante Azure PowerShell
El módulo de Azure PowerShell se usa para crear y administrar recursos de Azure mediante cmdlets o scripts de PowerShell. En este inicio rápido se muestra cómo usar el módulo de Azure PowerShell para implementar y ejecutar un trabajo de Azure Stream Analytics.
El trabajo de ejemplo lee los datos de streaming desde un dispositivo de IoT Hub. Un simulador en línea de Raspberry Pi genera los datos de entrada. A continuación, el trabajo de Stream Analytics transforma los datos mediante el lenguaje de consulta de Stream Analytics para filtrar los mensajes con una temperatura superior a 27°. Después, escribe los eventos de salida resultantes en otro archivo de un almacenamiento de blob.
Antes de empezar
- Si no tiene una suscripción a Azure, cree una cuenta gratuita.
- Este inicio rápido requiere el módulo Azure PowerShell. Ejecute
Get-Module -ListAvailable Az
para buscar la versión que está instalada en la máquina local. Si necesita instalarla o actualizarla, consulte el artículo sobre cómo instalar el módulo de Azure PowerShell. - Algunas acciones de IoT Hub no son compatibles con Azure PowerShell y se deben llevar a cabo con la CLI de Azure versión 2.0.70 o posterior y la extensión de IoT para la CLI de Azure.
Instale la CLI de Azure y use
az extension add --name azure-iot
para instalar la extensión de IoT.
Inicio de sesión en Azure
Inicie sesión en la suscripción de Azure con el comando Connect-AzAccount
y escriba las credenciales de Azure en el explorador emergente:
# Connect to your Azure account
Connect-AzAccount
Si tiene más de una suscripción, seleccione la que desee utilizar para este inicio rápido mediante la ejecución de los siguientes cmdlets. Asegúrese de reemplazar <your subscription name>
por el nombre de su suscripción:
# List all available subscriptions.
Get-AzSubscription
# Select the Azure subscription you want to use to create the resource group and resources.
Get-AzSubscription -SubscriptionName "<your subscription name>" | Select-AzSubscription
Crear un grupo de recursos
Cree un grupo de recursos de Azure con New-AzResourceGroup. Un grupo de recursos es un contenedor lógico en el que se implementan y se administran los recursos de Azure.
$resourceGroup = "StreamAnalyticsRG"
$location = "WestUS2"
New-AzResourceGroup `
-Name $resourceGroup `
-Location $location
Preparación de los datos de entrada
Antes de definir el trabajo de Stream Analytics, prepare los datos que se configuran como entrada del mismo.
El siguiente bloque de código de la CLI de Azure cuenta con varios comandos para preparar los datos de entrada que requiere el trabajo. Examine las secciones siguientes para comprender el código.
En la ventana de PowerShell, escriba el comando
az login
para iniciar sesión con su cuenta de Azure.Al iniciar sesión correctamente, la CLI de Azure devuelve una lista de las suscripciones. Copie la suscripción que va a usar para este inicio rápido y ejecute el comando
az account set
para seleccionar esa suscripción. Elija la misma que seleccionó en la sección anterior con PowerShell. Asegúrese de reemplazar<your subscription name>
por el nombre de su suscripción.az login az account set --subscription "<your subscription>"
Para crear un centro de IoT Hub, use el comando
az iot hub create
. En este ejemplo se va a crear un centro de IoT Hub llamado MyASAIoTHub. Dado que los nombres de IoT Hub son únicos, tiene que asignarle su propio nombre de IoT Hub. Establezca la SKU en F1 para usar el nivel gratuito si está disponible con su suscripción. Si no es así, elija el siguiente nivel más bajo.az iot hub create --name "MyASAIoTHub" --resource-group $resourceGroup --sku S1
Una vez creado el centro de IoT Hub, obtenga la cadena de conexión de IoT Hub mediante el comando az iot hub show-connection-string. Copie toda la cadena de conexión y guárdela. Es necesario al agregar IoT Hub como entrada al trabajo de Stream Analytics.
az iot hub show-connection-string --resource-group $resourceGroup --hub-name "MyASAIoTHub"
Agregue un dispositivo a IoT Hub con el comando
az iot hub device-identity create
. En este ejemplo se crea un dispositivo denominado MyASAIoTDevice.az iot hub device-identity create --resource-group $resourceGroup --hub-name "MyASAIoTHub" --device-id "MyASAIoTDevice"
Obtenga la cadena de conexión del dispositivo mediante el comando
az iot hub device-identity connection-string show
. Copie la cadena de conexión completa y guárdela para cuando cree el simulador de Raspberry Pi.az iot hub device-identity connection-string show --resource-group $resourceGroup --hub-name "MyASAIoTHub" --device-id "MyASAIoTDevice" --output table
Ejemplo de salida:
HostName=MyASAIoTHub.azure-devices.net;DeviceId=MyASAIoTDevice;SharedAccessKey=a2mnUsg52+NIgYudxYYUNXI67r0JmNubmfVafojG8=
Creación de un almacenamiento de blobs
El siguiente bloque de código de Azure PowerShell usa los comandos para crear el almacenamiento de blobs que se usa para la salida del trabajo. Examine las secciones para comprender el código.
Cree una cuenta de almacenamiento de uso general estándar mediante el cmdlet New-AzStorageAccount. En este ejemplo, se crea una cuenta de almacenamiento denominada myasaquickstartstorage con almacenamiento con redundancia local (LRS) y cifrado de blobs (habilitados de forma predeterminada).
Recupere el contexto
$storageAccount.Context
de la cuenta de almacenamiento que define la cuenta que se va a usar. Cuando trabaje con cuentas de almacenamiento, haga referencia al contexto en lugar de proporcionar varias veces las credenciales.Cree un nuevo contenedor de almacenamiento con New-AzStorageContainer.
Copie la clave de almacenamiento que indica el código y guárdela para crear la salida del trabajo de streaming más adelante.
$storageAccountName = "myasaquickstartstorage" $storageAccount = New-AzStorageAccount ` -ResourceGroupName $resourceGroup ` -Name $storageAccountName ` -Location $location ` -SkuName Standard_LRS ` -Kind Storage $ctx = $storageAccount.Context $containerName = "container1" New-AzStorageContainer ` -Name $containerName ` -Context $ctx $storageAccountKey = (Get-AzStorageAccountKey ` -ResourceGroupName $resourceGroup ` -Name $storageAccountName).Value[0] Write-Host "The <storage account key> placeholder needs to be replaced in your output json files with this key value:" Write-Host $storageAccountKey -ForegroundColor Cyan
Creación de un trabajo de Stream Analytics
Cree un trabajo de Stream Analytics con el cmdlet New-AzStreamAnalyticsJob. Este cmdlet toma como parámetros el nombre del trabajo, el nombre del grupo de recursos, la ubicación y el nombre de sku. El nombre del trabajo puede ser cualquier nombre descriptivo que lo identifique. Solo puede contener caracteres alfanuméricos, guiones y guiones bajos, y debe tener una longitud de entre 3 y 63 caracteres.
Ejecute el cmdlet New-AzStreamAnalyticsJob
.
$jobName = "MyStreamingJob"
New-AzStreamAnalyticsJob `
-ResourceGroupName $resourceGroup `
-Name $jobName `
-Location centralus `
-SkuName Standard
Configuración de la entrada al trabajo
Agregue una entrada al trabajo mediante el cmdlet New-AzStreamAnalyticsInput. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de entrada del trabajo, el nombre del grupo de recursos y la definición de entrada del trabajo. La definición de la entrada del trabajo es un archivo JSON que contiene las propiedades necesarias para configurar la entrada del trabajo. En este ejemplo, se crea un almacenamiento de blobs como una entrada.
En su máquina local, cree un archivo denominado JobInputDefinition.json
y agréguele los siguientes datos JSON.
Importante
- Reemplace
accesspolicykey
con la parteSharedAccessKey
de la cadena de conexión de IoT Hub que guardó en una sección anterior. - Si usó un nombre diferente para el centro de IoT, actualice el valor de
iotHubNamespace
.
{
"properties": {
"type": "Stream",
"datasource": {
"type": "Microsoft.Devices/IotHubs",
"properties": {
"iotHubNamespace": "MyASAIoTHub",
"sharedAccessPolicyName": "iothubowner",
"sharedAccessPolicyKey": "accesspolicykey",
"endpoint": "messages/events",
"consumerGroupName": "$Default"
}
},
"compression": {
"type": "None"
},
"serialization": {
"type": "Json",
"properties": {
"encoding": "UTF8"
}
}
},
"name": "IoTHubInput",
"type": "Microsoft.StreamAnalytics/streamingjobs/inputs"
}
Establezca la variable $jobInputDefinitionFile
de PowerShell en la ruta de acceso donde ha almacenado el archivo JSON de definición de entrada del trabajo.
$jobInputDefinitionFile = "C:\JobInputDefinition.json"
A continuación, ejecute el cmdlet New-AzStreamAnalyticsInput
para crear una entrada de Azure IoT Hub para el trabajo de Stream Analytics.
$jobInputName = "IoTHubInput"
New-AzStreamAnalyticsInput `
-ResourceGroupName $resourceGroup `
-JobName $jobName `
-File $jobInputDefinitionFile `
-Name $jobInputName
Configuración de la salida al trabajo
Agregue una entrada al trabajo mediante el cmdlet New-AzStreamAnalyticsOutput. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de salida del trabajo, el nombre del grupo de recursos y la definición de salida del trabajo. La definición de la salida del trabajo es un archivo JSON que contiene las propiedades necesarias para configurar la salida del trabajo. En este ejemplo se usa el almacenamiento de blobs como salida.
En su máquina local, cree un archivo denominado JobOutputDefinition.json
y agréguele los siguientes datos JSON.
Importante
Reemplace el valor de accountKey
por la clave de acceso de la cuenta de almacenamiento que sea el valor almacenado en el valor $storageAccountKey
.
{
"properties": {
"datasource": {
"type": "Microsoft.Storage/Blob",
"properties": {
"storageAccounts": [
{
"accountName": "asaquickstartstorage",
"accountKey": "<storage account key>"
}
],
"container": "container1",
"pathPattern": "output/",
"dateFormat": "yyyy/MM/dd",
"timeFormat": "HH"
}
},
"serialization": {
"type": "Json",
"properties": {
"encoding": "UTF8",
"format": "LineSeparated"
}
}
},
"name": "BlobOutput",
"type": "Microsoft.StreamAnalytics/streamingjobs/outputs"
}
Establezca la variable $jobOutputDefinitionFile
de PowerShell en la ruta de acceso donde ha almacenado el archivo JSON de definición de salida del trabajo.
$jobOutputDefinitionFile = "C:\JobOutputDefinition.json"
A continuación, ejecute el cmdlet New-AzStreamAnalyticsOutput
para crear una salida de Azure Blob Storage para el trabajo de Stream Analytics.
$jobOutputName = "BlobOutput"
New-AzStreamAnalyticsOutput `
-ResourceGroupName $resourceGroup `
-JobName $jobName `
-File $jobOutputDefinitionFile `
-Name $jobOutputName
Definir la consulta de transformación
Agregue una transformación al trabajo mediante el cmdlet New-AzStreamAnalyticsTransformation. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de transformación del trabajo, el nombre del grupo de recursos y la definición de transformación del trabajo. En su máquina local, cree un archivo denominado JobTransformationDefinition.json
y agréguele los siguientes datos JSON. El archivo JSON contiene un parámetro de consulta que define la consulta de transformación:
{
"name":"MyTransformation",
"type":"Microsoft.StreamAnalytics/streamingjobs/transformations",
"properties":{
"streamingUnits":1,
"script":null,
"query":"SELECT * INTO BlobOutput FROM IoTHubInput WHERE Temperature > 27"
}
}
Después, ejecute el cmdlet New-AzStreamAnalyticsTransformation
.
$jobTransformationName = "MyJobTransformation"
$jobTransformationDefinitionFile = "C:\JobTransformationDefinition.json"
New-AzStreamAnalyticsTransformation `
-ResourceGroupName $resourceGroup `
-JobName $jobName `
-Query "SELECT * INTO BlobOutput FROM IoTHubInput WHERE Temperature > 27" `
-StreamingUnit 1 `
-Name $jobTransformationName
Ejecutar el simulador
Reemplace el marcador de posición de la línea 15 con la cadena de conexión completa del dispositivo de Azure IoT Hub que guardó en la sección anterior.
Haga clic en Ejecutar. La salida debe mostrar los datos y mensajes del sensor que se envían a la instancia de IoT Hub.
Inicio del trabajo de Stream Analytics y consulta de la salida
Inicie el trabajo mediante el cmdlet Start-AzStreamAnalyticsJob. Este cmdlet toma como parámetros el nombre del trabajo, el nombre del grupo de recursos, el modo de inicio de salida y el tiempo de inicio.
OutputStartMode
acepta valores de JobStartTime
, CustomTime
o LastOutputEventTime
. Para más información acerca de los elementos a los que hacen referencia cada uno de estos valores, consulte la sección de parámetros de la documentación de PowerShell.
Después de ejecutar el siguiente cmdlet, devuelve True
como salida si el trabajo se inicia. En el contenedor de almacenamiento, se crea una carpeta de salida con los datos transformados.
Start-AzStreamAnalyticsJob `
-ResourceGroupName $resourceGroup `
-Name $jobName `
-OutputStartMode 'JobStartTime'
Limpieza de recursos
Cuando no los necesite, elimine el grupo de recursos, el trabajo de streaming y todos los recursos relacionados. La eliminación del trabajo evita la facturación de las unidades de streaming utilizadas por el trabajo. Si planea utilizar el trabajo en el futuro, puede omitir su eliminación y simplemente detenerlo por el momento. Si no va a seguir usando este trabajo, ejecute el siguiente cmdlet para eliminar todos los recursos creados en este inicio rápido:
Remove-AzResourceGroup `
-Name $resourceGroup
Pasos siguientes
En esta guía de inicio rápido, ha implementado un sencillo trabajo de Stream Analytics mediante PowerShell. También puede implementar trabajos de Stream Analytics mediante Azure Portal y Visual Studio.
Para aprender a configurar otros orígenes de entrada y realizar la detección en tiempo real, continúe con el siguiente artículo: