Indice / pandas: calidad y limpieza / 5.4

Valores ausentes

Un dato que falta no es un cero, no es un texto vacío y no es un error. Es una tercera cosa, y casi todo lo que hagas después depende de que la trates como tal.

Para qué sirve

Ningún archivo real viene completo. Alguien no cargó la edad, el sistema exportó un guion donde no tenía dato, el formulario dejó pasar un campo en blanco. Si no decidís qué hacer con esos huecos, pandas decide por vos: unas funciones los saltean en silencio, otras te devuelven un error, y otras te dan un número que parece razonable y está mal.

Esta lección es sobre las dos preguntas que hay que responder, en este orden: cuántos ausentes hay de verdad y qué hacés con ellos. La primera es más difícil de lo que parece: en el archivo con el que vamos a trabajar, la respuesta obvia se equivoca por más del doble.

La idea: tres cosas que parecen la misma

Pensá en una planilla de asistencia en papel. Una celda con 0 significa que el alumno vino y sacó cero. Una celda vacía significa que nadie anotó nada: no sabemos si vino. Son dos hechos distintos del mundo, y si los mezclás, el promedio de la clase te va a mentir.

NaN quiere decir Not a Number, y en pandas representa «acá no hay dato». Tiene una propiedad que sorprende a todo el mundo la primera vez: NaN no es igual a sí mismo. Es coherente con lo que significa - si no sé cuánto vale ninguno de los dos, no puedo afirmar que sean iguales - pero tiene una consecuencia práctica inmediata: buscar los ausentes con == no encuentra ninguno.

El ejemplo mínimo

import numpy as np
import pandas as pd

notas = pd.Series([7.5, np.nan, 9.0, np.nan], name="nota")
print(notas)

print()
print("NaN == NaN  ->", np.nan == np.nan)
print("encontrados con == :", (notas == np.nan).sum())
print("encontrados con .isna() :", notas.isna().sum())

print()
print("La media ignora los ausentes en silencio:")
print("  suma  =", notas.sum())
print("  media =", notas.mean(), " (suma / 2, no / 4)")

0    7.5
1    NaN
2    9.0
3    NaN
Name: nota, dtype: float64

NaN == NaN  -> False
encontrados con == : 0
encontrados con .isna() : 2

La media ignora los ausentes en silencio:
  suma  = 16.5
  media = 8.25  (suma / 2, no / 4)

Sobre datos de verdad

Vamos a trabajar con un archivo de clientes que ya viene sucio a propósito: clientes_crudos.csv (8.2 kB). Tiene 120 filas y la columna que nos interesa es edad.

Primer intento: leer y confiar

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv")

print(clientes[["id", "nombre", "edad"]].head(4))

print()
print("dtype de edad      :", clientes["edad"].dtype)
print("ausentes detectados:", clientes["edad"].isna().sum())

sospechosos = sorted({v for v in clientes["edad"].dropna().unique()
                      if not v.lstrip("-").isdigit()})
print("valores no numericos:", sospechosos)

print()
try:
    print(clientes["edad"].mean())
except TypeError as error:
    print("clientes['edad'].mean() ->", type(error).__name__)
    print(" ", error)

      id            nombre edad
0  C0001          José Paz   62
1  C0002        Lucía Peña   48
2  C0003  Santiago Herrera   40
3  C0004    José Rodríguez   67

dtype de edad      : str
ausentes detectados: 3
valores no numericos: ['-', 'treinta']

clientes['edad'].mean() -> TypeError
  Cannot perform reduction 'mean' with string dtype

Dos cosas para mirar acá. La primera: el dtype es str, no un número. La segunda: isna() encontró 3 ausentes. Esa cifra es la que vas a repetir en tu informe si no seguís mirando, y es falsa.

Segundo intento: declarar los tokens que faltan

Cuando read_csv lee una celda, la compara contra una lista fija de cadenas que considera «ausente». En esa lista están NaN, N/A, null, NA y la celda vacía, entre otras. El guion no está. Y este archivo usa el guion como marca de dato faltante.

import pandas as pd

por_defecto = pd.read_csv("clientes_crudos.csv")
declarado = pd.read_csv("clientes_crudos.csv", na_values=["-"])

print("sin na_values :", por_defecto["edad"].isna().sum(), "ausentes")
print("con na_values :", declarado["edad"].isna().sum(), "ausentes")
print("             el guion aparecia",
      (por_defecto["edad"] == "-").sum(), "vez y pasaba como dato valido")

print()
print("dtype de edad :", declarado["edad"].dtype)
print("Sigue siendo texto: adentro de la columna todavia queda 'treinta'.")
print("Declarar los ausentes no alcanza para volver numerica una columna.")

sin na_values : 3 ausentes
con na_values : 4 ausentes
             el guion aparecia 1 vez y pasaba como dato valido

dtype de edad : str
Sigue siendo texto: adentro de la columna todavia queda 'treinta'.
Declarar los ausentes no alcanza para volver numerica una columna.

Un ausente más. Parece poco; es una fila que hasta recién estaba viajando por todo tu análisis disfrazada de dato válido. El punto general: los tokens de ausente son una convención de quien exportó el archivo, no una ley. Antes de confiar en isna(), mirá qué cadenas raras aparecen en la columna.

Tercer intento: convertir a número

La columna sigue siendo texto porque adentro quedó "treinta". Y mientras sea texto, no podés hacerle ninguna cuenta. pd.to_numeric con errors="coerce" convierte lo que puede y manda a NaN lo que no.

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv", na_values=["-"])
edad = pd.to_numeric(clientes["edad"], errors="coerce")

print("dtype    :", edad.dtype)
print("ausentes :", edad.isna().sum(), "de", len(edad))
print("minimo   :", edad.min(), " maximo:", edad.max())

print()
validas = edad[edad.between(18, 100)]
print("dentro del dominio 18-100 :", len(validas))
print("fuera de rango            :", int(((edad < 18) | (edad > 100)).sum()))
print("mediana de las validas    :", validas.median())

print()
print("Los 3 ausentes nuevos son los 'treinta': errors='coerce' los convirtio")
print("en NaN. Sin coerce, to_numeric habria cortado con ValueError.")

dtype    : float64
ausentes : 7 de 120
minimo   : -5.0  maximo: 150.0

dentro del dominio 18-100 : 95
fuera de rango            : 18
mediana de las validas    : 46.0

Los 3 ausentes nuevos son los 'treinta': errors='coerce' los convirtio
en NaN. Sin coerce, to_numeric habria cortado con ValueError.

Recién ahora el número es real: 7 ausentes de 120, no 3. La diferencia entre 3 y 7 no es un detalle; es más del doble, y aparece únicamente si convertís antes de contar.

Lo mismo, paso a paso

Seguí seis celdas reales del archivo mientras pasan por las tres etapas. Cada paso dice qué acaba de cambiar y por qué.

Dónde se rompe

Acá hay que elegir

Ya sabés cuántos ausentes hay. Ahora hay que decidir, y no existe una respuesta correcta universal: existe una decisión que tenés que tomar y dejar por escrito. Son tres.

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv", na_values=["-"])
clientes["edad"] = pd.to_numeric(clientes["edad"], errors="coerce")
mediana = clientes.loc[clientes["edad"].between(18, 100), "edad"].median()

descartar = clientes.dropna(subset=["edad"])
imputar = clientes.assign(edad=clientes["edad"].fillna(mediana))
conservar = clientes.assign(edad_ausente=clientes["edad"].isna().astype("int64"))

print(f"{'politica':<11}{'filas':>7}{'media':>9}   {'que pasa con el ausente'}")
for nombre, tabla, nota in (
    ("descartar", descartar, "se pierde la fila entera"),
    ("imputar", imputar, f"pasa a valer {mediana:.0f} y se vuelve invisible"),
    ("conservar", conservar, "queda, marcado con una bandera"),
):
    print(f"{nombre:<11}{len(tabla):>7}{tabla['edad'].mean():>9.2f}   {nota}")

print()
print("Descartar y conservar dan la MISMA media: .mean() ya salteaba los NaN.")
print("Imputar es la unica que la mueve, porque inventa 7 valores.")
print()
print("Ojo: esa media sigue contaminada por las edades imposibles (-5, 150).")
print("Eso no es un problema de ausentes sino de rango, y se trata en 5.6.")

politica     filas    media   que pasa con el ausente
descartar      113    46.50   se pierde la fila entera
imputar        120    46.47   pasa a valer 46 y se vuelve invisible
conservar      120    46.50   queda, marcado con una bandera

Descartar y conservar dan la MISMA media: .mean() ya salteaba los NaN.
Imputar es la unica que la mueve, porque inventa 7 valores.

Ojo: esa media sigue contaminada por las edades imposibles (-5, 150).
Eso no es un problema de ausentes sino de rango, y se trata en 5.6.

Si imputás: ¿con qué?

Decidir imputar es solo la mitad de la decisión. Falta elegir el valor, y ahí hay cuatro candidatos habituales. Tres son variantes de fillna y el cuarto es otra función.

Probá los cuatro y mirá dos cosas: qué valor termina en cada hueco, y qué le pasa al desvío estándar de la columna entera.

import pandas as pd

try:
    RELLENO
except NameError:
    RELLENO = "mediana"

clientes = pd.read_csv("clientes_crudos.csv", na_values=["-"])
edad = pd.to_numeric(clientes["edad"], errors="coerce")
faltan = edad.isna()

# El texto tal cual venia en el archivo, para ver que token era cada ausente.
crudo = pd.read_csv("clientes_crudos.csv", dtype=str, keep_default_na=False)

validas = edad[edad.between(18, 100)]
if RELLENO == "mediana":
    rellenada = edad.fillna(validas.median())
elif RELLENO == "media":
    rellenada = edad.fillna(round(validas.mean(), 1))
elif RELLENO == "cero":
    rellenada = edad.fillna(0)
elif RELLENO == "ffill":
    rellenada = edad.ffill()
else:
    raise ValueError(f"relleno desconocido: {RELLENO}")

print(f"RELLENO = {RELLENO!r}   ({faltan.sum()} valores imputados de {len(edad)})")
print()

comparacion = pd.DataFrame({
    "id": clientes.loc[faltan, "id"],
    "en_el_archivo": crudo.loc[faltan, "edad"].replace("", "(vacio)"),
    "edad_imputada": rellenada[faltan],
})
print(comparacion.to_string(index=False))

print()
print(f"media antes  : {edad.mean():.2f}")
print(f"media despues: {rellenada.mean():.2f}")
print(f"desvio antes  : {edad.std():.2f}")
print(f"desvio despues: {rellenada.std():.2f}")

RELLENO = 'mediana'   (7 valores imputados de 120)

   id en_el_archivo  edad_imputada
C0029           N/A           46.0
C0031       treinta           46.0
C0058       (vacio)           46.0
C0062       treinta           46.0
C0087             -           46.0
C0093       treinta           46.0
C0116          null           46.0

media antes  : 46.50
media despues: 46.47
desvio antes  : 28.23
desvio despues: 27.39

RELLENO = 'media'   (7 valores imputados de 120)

   id en_el_archivo  edad_imputada
C0029           N/A           46.3
C0031       treinta           46.3
C0058       (vacio)           46.3
C0062       treinta           46.3
C0087             -           46.3
C0093       treinta           46.3
C0116          null           46.3

media antes  : 46.50
media despues: 46.48
desvio antes  : 28.23
desvio despues: 27.39

RELLENO = 'cero'   (7 valores imputados de 120)

   id en_el_archivo  edad_imputada
C0029           N/A            0.0
C0031       treinta            0.0
C0058       (vacio)            0.0
C0062       treinta            0.0
C0087             -            0.0
C0093       treinta            0.0
C0116          null            0.0

media antes  : 46.50
media despues: 43.78
desvio antes  : 28.23
desvio despues: 29.50

RELLENO = 'ffill'   (7 valores imputados de 120)

   id en_el_archivo  edad_imputada
C0029           N/A           44.0
C0031       treinta           51.0
C0058       (vacio)          128.0
C0062       treinta           65.0
C0087             -           36.0
C0093       treinta           -5.0
C0116          null           -5.0

media antes  : 46.50
media despues: 46.40
desvio antes  : 28.23
desvio despues: 29.23

Ninguno de los cuatro es neutro. Con la mediana el desvío baja de 28,2 a 27,4: metiste siete veces el mismo valor justo en el centro y la columna quedó artificialmente más concentrada de lo que era en realidad. La media da casi lo mismo acá solo porque en este archivo el promedio (46,5) y la mediana (46,0) casi coinciden; con una columna torcida por atípicos se separarían mucho. Con cero es peor: además de bajar la media, agregás siete edades imposibles que la lección 5.6 va a marcar como fuera de rango.

Recetario

Ponete a prueba

clientes = pd.read_csv("clientes_crudos.csv")
faltan = clientes["edad"].isna().sum()
print(f"ausentes: {faltan}")
edad = pd.to_numeric(clientes["edad"], errors="coerce")
media = edad.mean()

Prácticas de esta lección