Transformaciones de Eventstream

Completado

La interfaz de edición de secuencias de eventos de arrastrar y colocar ofrece un método sencillo y fácil de usar para construir flujos de trabajo complejos de procesamiento de datos de eventos.

Transformaciones de Eventstream

Puede transformar datos en una secuencia de eventos aplicando las transformaciones siguientes:

• Filtro: Use la transformación Filtro para filtrar eventos en función del valor de un campo de la entrada. Dependiendo del tipo de datos (número o texto), la transformación mantiene los valores que coinciden con la condición seleccionada, como si es null o is not null.
• Administrar campos: Esta transformación le permite agregar, eliminar, cambiar el tipo de datos o cambiar el nombre de los campos procedentes de una entrada o de otra transformación.
• Agregado: Use la transformación Agregado para calcular una agregación (Suma, Mínimo, Máximo o Promedio) cada vez que se produce un evento nuevo durante un período de tiempo. Esta operación también permite cambiar el nombre de estas columnas calculadas y filtrar o segmentar la agregación en función de otras dimensiones de los datos. Puede tener una o varias agregaciones en la misma transformación.
• Agrupar por: use la transformación Agrupar por para calcular agregaciones en todos los eventos dentro de un período de tiempo determinado. Puede agrupar por los valores en uno o varios campos. Es como la transformación Agregado que permite cambiar el nombre de las columnas, pero proporciona más opciones para la agregación e incluye opciones más complejas para las ventanas de tiempo. Al igual que Agregado, puede incluir más de una agregación por transformación.
• Unión: Use la transformación Unión para conectar dos o más nodos y agregar eventos que tengan campos compartidos (con el mismo nombre y tipo de datos) en una tabla. Los campos que no coincidan se descartan y no se incluyen en la salida.
• Expandir: Use esta matriz para crear una nueva fila por cada valor dentro de una matriz.
• Combinación: esta combinación es una transformación para combinar datos de dos flujos en función de una condición coincidente entre ellos.

Funciones de ventanas en Eventstream

Las funciones de ventana son una manera de realizar operaciones en los datos contenidos en ventanas temporales, como la agregación, el filtrado o la transformación de eventos de streaming que se producen dentro de un período de tiempo especificado. Las funciones de ventana son útiles para analizar los datos de streaming que cambian con el tiempo, como las lecturas de sensores, clics web, transacciones en línea, etc., y proporcionan una gran flexibilidad para mantener un registro preciso de los eventos a medida que se producen.

Anteriormente, mencionamos el operador Agrupar por en el editor del procesador de eventos. Esta interfaz gráfica nos permite definir la lógica que necesitamos para procesar, transformar y enrutar los datos de eventos. Hay cuatro parámetros que necesitan especificarse en la configuración del operador Agrupar por para usar estas funciones de ventana que incluyen:

• El tipo de ventana, que puede ser de saltos de tamaño constante, deslizante, de instantánea, de salto o de sesión.

  • Las ventanas de saltos de tamaño constante dividen los eventos entrantes en intervalos fijos y no superpuestos en función de la hora de llegada.

    En esta ventana se muestra un recuento de tweets por zona horaria cada 10 segundos.

    

  • Las ventanas deslizantes toman los eventos en intervalos fijos y superpuestos en función del tiempo y los divide.

    Una ventana es una ventana deslizante de 10 segundos que alerta al usuario cada vez que se menciona un artículo más de tres veces en menos de 10 segundos

    

    Nota:

    Todos los tweets pertenecen al mismo tema en este escenario

  • Las ventanas de sesión simplemente dividen los eventos en intervalos variables y no superpuestos que se basan en una brecha de falta de actividad.

    Una ventana, que muestra el recuento total de tweets que se producen en un plazo de cinco minutos entre sí

    

  • Las ventanas de salto son diferentes de las ventanas de saltos de tamaño constante ya que modelan las ventanas superpuestas programadas.

    Una ventana de salto de 10 segundos que se actualiza cada 5 segundos y proporciona el recuento total de tweets en los últimos 10 segundos.

    

  • Las ventanas de instantáneas agrupan los eventos de secuencias de eventos que tienen la misma marca de tiempo y son diferentes a las otras funciones de ventana, que requieren que se asigne un nombre a la función. En las ventanas de instantáneas, agregue el System.Timestamp() a la cláusula GROUP BY.

    Esta ventana proporciona un recuento de tweets con el mismo tipo de artículo que se producen exactamente al mismo tiempo.

    

• La duración de la ventana es la longitud de cada intervalo de ventana, que puede estar en segundos, minutos, horas e incluso días. Una duración de ejemplo, como 10 minutos, significa simplemente que cada ventana cubre 10 minutos de datos de eventos.

• El desplazamiento de la ventana es un parámetro opcional que desplaza el inicio y el final de cada intervalo de ventana por una cantidad de tiempo especificada. Un ejemplo de cuándo se establece este parámetro opcional podría ser un desplazamiento de ventana de 2 minutos, lo que significa que cada ventana se inicia y termina 2 minutos más tarde de lo habitual.

• La clave de agrupación es una o varias columnas de los datos de evento por los que desea agrupar. Por ejemplo, por identificador de sensor o categoría de elemento.

• La función de agregación es una o varias de las funciones que desea aplicar a cada grupo de eventos de cada ventana. Donde los recuentos, sumas, promedios, mín./máx. e incluso las funciones personalizadas resultan útiles.