Rango, dominio y atípicos

import pandas as pd

edades = pd.Series([34, 150, 22, -5, 17, 61])
print("edades:", edades.to_list())

print()
print("between(18, 100) es inclusivo en los dos extremos:")
print(edades.between(18, 100).to_list())
print("fuera de rango:", edades[~edades.between(18, 100)].to_list())

tipos = pd.Series(["ingreso", "gasto", "INGRESO", "devolucion"])
print()
print("isin declara el dominio permitido:")
print(tipos.isin(["ingreso", "gasto"]).to_list())
print("fuera del dominio:", tipos[~tipos.isin(["ingreso", "gasto"])].to_list())

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv", na_values=["-"])
edad = pd.to_numeric(clientes["edad"], errors="coerce")

fuera = edad[~edad.between(18, 100) & edad.notna()]
print("edades fuera de 18-100:", len(fuera))
print(fuera.value_counts().sort_index().to_string())

print()
print("No todas son iguales:")
print("  -5            imposible: no existe una edad negativa")
print("  15, 16, 17    posible, pero este negocio no admite menores")
print("  101, 128, 150 posible una, absurdas las otras dos")
print()
print("La primera es un error de carga. La segunda es una regla del negocio.")
print("La tercera hay que mirarla de cerca: 101 puede ser cierto.")

import pandas as pd

tx = pd.read_csv("transacciones_categorias.csv")
permitidos = ["ingreso", "gasto"]

print("valores que trae la columna tipo:")
print(tx["tipo"].value_counts(dropna=False).to_string())

print()
fuera = ~tx["tipo"].isin(permitidos)
print("filas fuera del dominio:", int(fuera.sum()))
print(tx.loc[fuera, ["id", "tipo"]].to_string(index=False))

print()
normalizado = tx["tipo"].str.lower()
fuera2 = ~normalizado.isin(permitidos)
print("despues de pasar a minusculas, quedan:", int(fuera2.sum()))
print("Normalizar primero y validar despues: INGRESO no era un valor nuevo,")
print("era el mismo escrito distinto. 'devolucion' si es otra cosa.")

import pandas as pd

hechos = pd.read_csv("dw_hecho_ventas.csv")
ingreso = pd.to_numeric(hechos["ingreso"], errors="coerce")

# Los negativos son imposibles: se sacan ANTES de medir la dispersion,
# si no contaminan los cuartiles.
validos = ingreso[ingreso >= 0]

q1, q3 = validos.quantile([0.25, 0.75])
iqr = q3 - q1
bajo, alto = q1 - 1.5 * iqr, q3 + 1.5 * iqr
print(f"Q1={q1:.2f}  Q3={q3:.2f}  IQR={iqr:.2f}")
print(f"limites: {bajo:.2f} a {alto:.2f}")

atipicos = validos[(validos < bajo) | (validos > alto)]
print()
print("atipicos:", len(atipicos), "de", len(validos))
print(atipicos.sort_values(ascending=False).head(5).to_list())
print()
print("Un atipico NO es un error: es un valor que merece que lo mires.")

import pandas as pd

clientes = pd.read_csv("clientes_crudos.csv", na_values=["-"])
edad = pd.to_numeric(clientes["edad"], errors="coerce")
dentro = edad.between(18, 100)

descartar = edad[dentro]
recortar = edad.clip(lower=18, upper=100)
marcar = pd.DataFrame({"edad": edad, "fuera_de_rango": (~dentro & edad.notna()).astype("int64")})

print(f"{'politica':<12}{'filas':>7}{'media':>9}  que pasa con el valor raro")
print(f"{'descartar':<12}{len(descartar):>7}{descartar.mean():>9.2f}  desaparece la fila")
print(f"{'recortar':<12}{len(recortar.dropna()):>7}{recortar.mean():>9.2f}  150 pasa a valer 100")
print(f"{'marcar':<12}{len(marcar):>7}{marcar['edad'].mean():>9.2f}  queda, con una bandera")

print()
print("clip() es tentador y peligroso: convierte un dato imposible en uno")
print("plausible. Despues nadie puede distinguir un 100 real de un 150 recortado.")