Estadística y NaN

import numpy as np

lecturas = np.genfromtxt("numpy_sensores.csv", delimiter=",",
                         skip_header=1, usecols=range(2, 26))
print("lecturas:", lecturas.shape, "| NaN:", int(np.isnan(lecturas).sum()),
      "de", lecturas.size)

print()
print("Las reducciones normales devuelven nan si tocan UN solo ausente:")
for nombre in ("sum", "mean", "min", "max", "std"):
    valor = getattr(np, nombre)(lecturas)
    print(f"   np.{nombre:<5}(lecturas) -> {valor}")

print()
print("Y la familia nan* los ignora:")
for nombre in ("nansum", "nanmean", "nanmin", "nanmax", "nanstd"):
    valor = getattr(np, nombre)(lecturas)
    print(f"   np.{nombre:<8}(lecturas) -> {round(float(valor), 2)}")

print()
print("Por fila se ve mejor cuales estan afectadas:")
normal = np.mean(lecturas, axis=1)
ignorando = np.nanmean(lecturas, axis=1)
print(f"   {'sensor':<8} {'np.mean':>10} {'np.nanmean':>12}")
for i in range(10):
    print(f"   S{i + 1:02d}      {normal[i]:>10.2f} {ignorando[i]:>12.2f}")
print("   Tres filas en nan, que son las tres con un hueco: S03, S06, S09.")

print()
print("El motivo: nan se propaga por cualquier operacion aritmetica.")
print("   1 + np.nan      ->", 1 + np.nan)
print("   0 * np.nan      ->", 0 * np.nan)
print("   np.nan ** 0     ->", np.nan ** 0, "  <- la unica excepcion")
print("   max(1, np.nan)  -> depende de la implementacion; por eso nanmax")

print()
print("Y el detalle que rompe las comparaciones ingenuas:")
print("   np.nan == np.nan ->", np.nan == np.nan)
print("   Un nan NO es igual a si mismo. Para detectarlo hay dos formas:")
print("   np.isnan(x)     ->", np.isnan(np.nan))
print("   x != x          ->", np.nan != np.nan, " <- funciona en Python puro")

print()
print("Lo que hay que decidir, y no lo decide nan*:")
print("   nanmean IGNORA el hueco, no lo rellena. El denominador cambia.")
s03 = lecturas[2]
print("   S03 tiene", int(np.isnan(s03).sum()), "huecos:")
print("     np.nanmean(s03)        ->", round(float(np.nanmean(s03)), 3),
      "(sobre", int((~np.isnan(s03)).sum()), "valores)")
print("     np.nansum(s03) / 24    ->", round(float(np.nansum(s03) / 24), 3),
      "(tratando el hueco como 0)")
print("   Los dos numeros son correctos y contestan preguntas distintas.")
print("   'temperatura media medida' contra 'temperatura media del dia,")
print("   contando las horas sin medicion como cero'. La segunda casi")
print("   nunca es lo que se quiere, pero hay que decirlo.")

import csv

import numpy as np

NULOS = {"", "-", "N/A", "NaN", "null"}

# Se lee a mano para poder convertir con la politica del curso: los cinco
# tokens de ausente van a NaN, y lo que no es numero, tambien.
with open("estudiantes_notas.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f))


def a_numero(texto):
    crudo = texto.strip()
    if crudo in NULOS:
        return np.nan
    try:
        return float(crudo)
    except ValueError:
        return np.nan


nota_1 = np.array([a_numero(x["nota_1"]) for x in filas])
nota_3 = np.array([a_numero(x["nota_3"]) for x in filas])
print("estudiantes:", nota_1.size)
print("nota_1 ausentes:", int(np.isnan(nota_1).sum()))
print("nota_3 ausentes:", int(np.isnan(nota_3).sum()),
      " <- los 4 tokens raros mas el 'NaN'")

print()
print(f"{'medida':<22} {'nota_1':>9} {'nota_3':>9}")
print("-" * 42)
for nombre, funcion in (("n validos", lambda a: (~np.isnan(a)).sum()),
                        ("minimo", np.nanmin),
                        ("percentil 25", lambda a: np.nanpercentile(a, 25)),
                        ("mediana", np.nanmedian),
                        ("percentil 75", lambda a: np.nanpercentile(a, 75)),
                        ("maximo", np.nanmax),
                        ("media", np.nanmean),
                        ("desvio", np.nanstd)):
    print(f"{nombre:<22} {float(funcion(nota_1)):>9.2f} "
          f"{float(funcion(nota_3)):>9.2f}")

print()
print("Mirando los extremos aparecen los defectos: el maximo de nota_1 es")
print("12.5 y el minimo de nota_3 es -1. Ninguna de las dos es una nota")
print("posible. nanmin y nanmax NO las filtran: solo ignoran los ausentes.")
fuera_1 = nota_1[(nota_1 < 0) | (nota_1 > 10)]
fuera_3 = nota_3[(nota_3 < 0) | (nota_3 > 10)]
print("   nota_1 fuera de rango:", fuera_1)
print("   nota_3 fuera de rango:", fuera_3)

print()
print("Con esas fuera, los numeros cambian:")
validas_1 = nota_1[(nota_1 >= 0) & (nota_1 <= 10)]
print("   media de nota_1, todo    :", round(float(np.nanmean(nota_1)), 3))
print("   media de nota_1, en rango:", round(float(validas_1.mean()), 3))
print("   diferencia               :",
      round(float(np.nanmean(nota_1) - validas_1.mean()), 3))

print()
print("Media contra mediana, y cuando usar cual:")
print("   La media usa TODOS los valores: un extremo la mueve.")
print("   La mediana usa el del medio: un extremo no la mueve.")
print("   nota_1 media", round(float(np.nanmean(nota_1)), 2),
      "| mediana", round(float(np.nanmedian(nota_1)), 2))
print("   Cuando las dos se parecen, la distribucion es mas o menos")
print("   simetrica. Cuando difieren mucho, hay cola o hay atipico, y")
print("   conviene mirar antes de publicar la media.")

print()
print("Los percentiles dicen la forma sin necesidad de graficar:")
for p in (0, 10, 25, 50, 75, 90, 100):
    print(f"   p{p:<3} {float(np.nanpercentile(nota_1, p)):>6.2f}")
print("   p25 a p75 es el rango intercuartil, y es la base del criterio")
print("   de atipicos de la leccion 3.7.")