Indice / pandas: calidad y limpieza / 5.1

Diagnóstico antes de tocar nada

La primera pregunta ante un archivo nuevo no es «cómo lo arreglo» sino «qué tiene». Un rato midiendo ahorra una tarde corrigiendo lo que no estaba roto.

Para qué sirve

La tentación, cuando abrís un archivo, es empezar a limpiarlo enseguida: convertir esta columna, tirar aquellas filas. El problema es que no sabés qué estás tirando. Después no vas a poder contestar cuántas filas se fueron, ni por qué, ni si el resultado tiene sentido.

Diagnosticar es hacerle al archivo una serie de preguntas concretas y anotar las respuestas sin corregir nada. Recién con esos números en la mano se puede decidir. Y son varias preguntas distintas: cada una encuentra una clase de problema que las otras no ven.

Las cinco preguntas

El ejemplo mínimo

import pandas as pd

ventas = pd.DataFrame({
    "producto": ["Teclado", "Mouse", "Teclado", None],
    "precio": [4500.0, None, 4500.0, 900.0],
})
print(ventas)

print()
print("huecos por columna:")
print(ventas.isna().sum())

print()
print("filas duplicadas:", ventas.duplicated().sum())
print("valores distintos por columna:")
print(ventas.nunique(dropna=False))

  producto  precio
0  Teclado  4500.0
1    Mouse     NaN
2  Teclado  4500.0
3      NaN   900.0

huecos por columna:
producto    1
precio      1
dtype: int64

filas duplicadas: 1
valores distintos por columna:
producto    3
precio      3
dtype: int64

Sobre datos de verdad

Vamos con clientes_crudos.csv (8.2 kB), 120 filas y 6 columnas.

Primera mirada: info()

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv")
clientes.info()

print()
print("Cada columna que deberia ser numerica y aparece como str")
print("es una alarma: hay algo que no es un numero adentro.")

<class 'pandas.DataFrame'>
RangeIndex: 120 entries, 0 to 119
Data columns (total 6 columns):
 #   Column      Non-Null Count  Dtype
---  ------      --------------  -----
 0   id          120 non-null    str  
 1   nombre      118 non-null    str  
 2   correo      118 non-null    str  
 3   edad        117 non-null    str  
 4   ciudad      119 non-null    str  
 5   fecha_alta  120 non-null    str  
dtypes: str(6)
memory usage: 5.8 KB

Cada columna que deberia ser numerica y aparece como str
es una alarma: hay algo que no es un numero adentro.

Hay dos cosas acá. Los Non-Null Count muestran que faltan datos en cuatro columnas. Y el Dtype de edad es texto: si la edad fuera un número limpio, pandas la habría leído como número. Que una columna numérica aparezca como texto es la alarma más barata que existe, y aparece sin que la busques.

Segunda mirada: contar

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv")

resumen = pd.DataFrame({
    "nulos": clientes.isna().sum(),
    "unicos": clientes.nunique(dropna=False),
    "dtype": clientes.dtypes.astype(str),
})
print(resumen)

print()
print("filas duplicadas enteras:", clientes.duplicated().sum())
print("ids repetidos           :", clientes["id"].duplicated().sum())

            nulos  unicos dtype
id              0     120   str
nombre          2     113   str
correo          2     112   str
edad            3      57   str
ciudad          1      11   str
fecha_alta      0     110   str

filas duplicadas enteras: 0
ids repetidos           : 0

Tres ausentes en edad, dos en nombre, dos en correo, uno en ciudad. Ningún duplicado exacto y ningún id repetido: la clave está sana. Ya sabemos bastante más que hace un minuto, y todavía no tocamos nada.

Tercera mirada: qué hay adentro

Los conteos dicen cuántos, no qué. Para eso está value_counts, que es el detector de basura de pandas.

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv")
edad = clientes["edad"]

sospechosos = edad[~edad.str.fullmatch(r"-?\d+", na=False)]
print("valores de edad que no son numeros enteros:")
print(sospechosos.value_counts(dropna=False).to_string())

print()
print("Los NaN que ya detecto read_csv:", int(edad.isna().sum()))
print("Cada uno de los de arriba es un ausente disfrazado o un error de carga.")

valores de edad que no son numeros enteros:
edad
NaN        3
treinta    3
-          1

Los NaN que ya detecto read_csv: 3
Cada uno de los de arriba es un ausente disfrazado o un error de carga.

Ahí aparecen los que estaban escondidos: tres treinta y un guion. Ninguno de esos cuatro figura en los tres ausentes que había contado isna(), y sin embargo son huecos igual. Sin esta pregunta, esos cuatro seguían disfrazados de dato válido.

Lo mismo, paso a paso

Seis filas reales del archivo. Fijate cómo cada pregunta enciende celdas distintas: ninguna sola pregunta encuentra todo.

Un perfil reutilizable

Estas mismas preguntas se hacen en todos los archivos, así que conviene tenerlas en una función. Esta es la base de la práctica de esta lección.

import pandas as pd


def perfilar(tabla):
    """Una fila por columna: lo minimo para decidir por donde empezar."""
    filas = []
    for nombre in tabla.columns:
        columna = tabla[nombre]
        no_nulos = columna.dropna()
        filas.append({
            "columna": nombre,
            "dtype": str(columna.dtype),
            "nulos": int(columna.isna().sum()),
            "unicos": int(columna.nunique(dropna=False)),
            "vacios": int((no_nulos.astype(str).str.strip() == "").sum()),
            "ejemplo": no_nulos.iloc[0] if len(no_nulos) else "",
        })
    return pd.DataFrame(filas)


clientes = pd.read_csv("clientes_crudos.csv", dtype=str, keep_default_na=False)
print(perfilar(clientes).to_string(index=False))

   columna dtype  nulos  unicos  vacios              ejemplo
        id   str      0     120       0                C0001
    nombre   str      0     113       2             José Paz
    correo   str      0     112       2 jose.paz@example.com
      edad   str      0      59       1                   62
    ciudad   str      0      11       1                Salta
fecha_alta   str      0     110       0           2025-02-20

Dónde se rompe

Acá hay que elegir

Recetario

Ponete a prueba

producto  precio
Teclado   4500.0
Mouse     NaN
Teclado   4500.0
None      900.0

clientes = pd.read_csv("clientes_crudos.csv")
print(clientes.isna().sum())
print(clientes.duplicated().sum())
print("todo en orden" if clientes.isna().sum().sum() == 0 else "revisar")

Prácticas de esta lección