Compartir vía

Tutorial: Limpieza de datos con dependencias funcionales

  • Artículo

En este tutorial, usará dependencias funcionales para la limpieza de datos. Existe una dependencia funcional cuando una columna de un modelo semántico (un conjunto de datos de Power BI) es una función de otra columna. Por ejemplo, una columna de código postal podría determinar los valores de una columna de ciudad . Una dependencia funcional se manifiesta como una relación uno a varios entre los valores de dos o más columnas dentro de un dataframe. En este tutorial se usa el conjunto de datos de Synthea para mostrar cómo las relaciones funcionales pueden ayudar a detectar problemas de calidad de datos.

En este tutorial, aprenderá a:

  • Aplique conocimientos de dominio para formular hipótesis sobre las dependencias funcionales en un modelo semántico.
  • Familiarícese con los componentes de la biblioteca de Python del vínculo semántico (SemPy) que ayudan a automatizar el análisis de calidad de los datos. Estos componentes incluyen:
    • FabricDataFrame: una estructura similar a Pandas mejorada con información semántica adicional.
    • Funciones útiles que automatizan la evaluación de hipótesis sobre dependencias funcionales y que identifican infracciones de relaciones en los modelos semánticos.

Prerrequisitos

  • Seleccione Áreas de trabajo en el panel de navegación izquierdo para buscar y seleccionar el área de trabajo. Esta área de trabajo se convertirá en el área de trabajo actual.

Sigue el desarrollo en el cuaderno

El cuaderno data_cleaning_functional_dependencies_tutorial.ipynb acompaña a este tutorial.

Configuración del cuaderno

En esta sección, configurará un entorno de cuaderno con los módulos y datos necesarios.

  1. Para Spark 3.4 y versiones posteriores, el vínculo semántico está disponible en el entorno de ejecución predeterminado al usar Fabric y no es necesario instalarlo. Si usa Spark 3.3 o inferior, o si desea actualizar a la versión más reciente de Semantic Link, puede ejecutar el comando:

python %pip install -U semantic-link  

  1. Realice las importaciones necesarias de módulos que necesitará más adelante:

    import pandas as pd
import sempy.fabric as fabric
from sempy.fabric import FabricDataFrame
from sempy.dependencies import plot_dependency_metadata
from sempy.samples import download_synthea

  2. Incorpore los datos de ejemplo. En este tutorial, usará el conjunto de datos Synthea de registros médicos sintéticos (versión pequeña para simplificar):

    download_synthea(which='small')

Exploración de los datos

  1. Inicialice un FabricDataFrame con el contenido del archivo providers.csv:

    providers = FabricDataFrame(pd.read_csv("synthea/csv/providers.csv"))
providers.head()

  2. Compruebe si hay problemas de calidad de datos con la función find_dependencies de SemPy mediante el trazado de un gráfico de dependencias funcionales detectadas automáticamente:

    deps = providers.find_dependencies()
plot_dependency_metadata(deps)

    Captura de pantalla que muestra el gráfico de dependencias funcionales.

    El gráfico de dependencias funcionales muestra que Id determina NAME y ORGANIZATION (indicado por las flechas sólidas), que se espera, ya que Id es único:

  3. Confirme que Id sea único:

    providers.Id.is_unique

    El código devuelve True para confirmar que Id es único.

Análisis de dependencias funcionales en profundidad

El gráfico de dependencias funcionales también muestra que ORGANIZATION determina ADDRESS y ZIP, según lo previsto. Sin embargo, podrías esperar que ZIP también determinara CITY, pero la flecha discontinua indica que la dependencia es solo aproximada, señalando un problema de calidad de datos.

Hay otras peculiaridades en el gráfico. Por ejemplo, NAME no determina GENDER, Id, SPECIALITYo ORGANIZATION. Cada una de estas peculiaridades puede merecer la pena investigar.

  1. Eche un vistazo más profundo a la relación aproximada entre ZIP y CITY, mediante la función list_dependency_violations de SemPy para ver una lista tabular de infracciones:

    providers.list_dependency_violations('ZIP', 'CITY')

  2. Dibujar un gráfico con la función de visualización plot_dependency_violations de SemPy. Este gráfico es útil si el número de infracciones es pequeño:

    providers.plot_dependency_violations('ZIP', 'CITY')

    Captura de pantalla que muestra el gráfico de infracciones de dependencia.

    El trazado de infracciones de dependencia muestra los valores de ZIP en el lado izquierdo y los valores de CITY en el lado derecho. Un borde conecta un código postal en el lado izquierdo del trazado con una ciudad en el lado derecho si hay una fila que contiene estos dos valores. Los bordes se anotan con el recuento de dichas filas. Por ejemplo, hay dos filas con código postal 02747-1242, una fila con la ciudad "NORTH DARTHMOUTH" y la otra con la ciudad "DARTHMOUTH", como se muestra en el trazado anterior y el código siguiente:

  3. Verifique las observaciones anteriores realizadas con el gráfico de violaciones de dependencia mediante la ejecución del siguiente código.

    providers[providers.ZIP == '02747-1242'].CITY.value_counts()

  4. El trazado también muestra que entre las filas que tienen CITY como "DARTHMOUTH", nueve filas tienen un ZIP de 02747-1262; una fila tiene un ZIP de 02747-1242; y una fila tiene un ZIP de 02747-2537. Confirma estas observaciones con el código siguiente:

    providers[providers.CITY == 'DARTMOUTH'].ZIP.value_counts()

  5. Hay otros códigos postales asociados a "DARTMOUTH", pero estos códigos postales no se muestran en el gráfico de infracciones de dependencia, ya que no sugieren problemas de calidad de datos. Por ejemplo, el código postal "02747-4302" está asociado de forma única a "DARTMOUTH" y no aparece en el gráfico de infracciones de dependencia. Confirme ejecutando el código siguiente:

    providers[providers.ZIP == '02747-4302'].CITY.value_counts()

Resumen de problemas de calidad de datos detectados con SemPy

Volviendo al gráfico de infracciones de dependencias, puede ver que hay varios problemas interesantes de calidad de datos presentes en este modelo semántico:

  • Algunos nombres de ciudad están en mayúsculas. Este problema es fácil de corregir mediante métodos de cadena.
  • Algunos nombres de ciudad tienen calificadores (o prefijos), como "Norte" y "Este". Por ejemplo, el código postal "2128" se asigna a "EAST BOSTON" una vez y a "BOSTON" una vez. Se produce un problema similar entre "NORTH DARTHMOUTH" y "DARTHMOUTH". Puede intentar quitar estos calificadores o asignar los códigos postales a la ciudad que se repite más veces.
  • Hay errores tipográficos en algunas ciudades, como "PITTSFIELD" frente a "PITTSFILED" y "NEWBURGPORT frente a NEWBURYPORT". Para "NEWBURGPORT", este error tipográfico podría corregirse mediante el uso de la repetición más común. Para "PITTSFIELD", el hecho de tener solo una aparición hace que sea mucho más difícil realizar la desambiguación automática sin conocimiento externo ni el uso de un modelo de lenguaje.
  • A veces, los prefijos como "West" se abrevian a una sola letra "W". Este problema podría corregirse con un reemplazo simple, si todas las apariciones de "W" se refieren a "Oeste".
  • El código postal "02130" se asigna una vez a "BOSTON" y una vez a "Jamaica Plain". Este problema no es fácil de corregir, pero si hubiera más datos, mapear a la ocurrencia más común podría ser una posible solución.

Limpiar los datos

  1. Corrija los problemas de mayúsculas y minúsculas cambiando todas las mayúsculas y minúsculas al tipo título:

    providers['CITY'] = providers.CITY.str.title()

  2. Vuelva a ejecutar la detección de infracciones para ver que algunas de las ambigüedades han desaparecido (el número de infracciones es menor):

    providers.list_dependency_violations('ZIP', 'CITY')

    En este momento, podría refinar los datos de forma más manual, pero una posible tarea de limpieza de datos consiste en quitar filas que infringen las restricciones funcionales entre las columnas de los datos mediante la función drop_dependency_violations de SemPy.

    Para cada valor de la variable determinante, drop_dependency_violations funciona seleccionando el valor más común de la variable dependiente y quitando todas las filas con otros valores. Solo debe aplicar esta operación si confía en que esta heurística estadística provocaría los resultados correctos de los datos. De lo contrario, debe escribir su propio código para controlar las infracciones detectadas según sea necesario.

  3. Ejecute la función drop_dependency_violations en las columnas ZIP y CITY:

    providers_clean = providers.drop_dependency_violations('ZIP', 'CITY')

  4. Enumere las infracciones de dependencia entre ZIP y CITY:

    providers_clean.list_dependency_violations('ZIP', 'CITY')

    El código devuelve una lista vacía para indicar que no hay más infracciones de la restricción funcional CITY -> ZIP.

Contenido relacionado

Echa un vistazo a otros tutoriales sobre vínculos semánticos y SemPy.