Introducción
Una canalización de datos es una serie de pasos de procesamiento de datos. Los datos sin procesar se ingieren desde orígenes de datos, luego se someten a procesamiento y transformación de datos y, por último, se almacenan para su análisis.
Delta Live Tables (DLT) es un marco que simplifica la construcción y administración de canalizaciones de datos para aplicaciones de macrodatos y aprendizaje automático. Las transformaciones de datos se definen mediante SQL o Python para realizar en los datos y DLT administra la orquestación de tareas, la supervisión, la calidad de los datos y el control de errores.
DLT tiene varias características para simplificar las tareas de ingeniería de datos y mejorar la confiabilidad de la infraestructura de datos. Puede administrar la calidad de los datos con las expectativas de Delta Live Tables directamente en las canalizaciones. Las expectativas de DLT son declaraciones de conjunto de datos que aplican comprobaciones de calidad de datos en cada registro que pasa a través de una consulta. DLT también tiene características como el seguimiento de linaje y las optimizaciones de rendimiento.