Bandas y anomalías: la variabilidad en el gráfico

import pandas as pd
import matplotlib.pyplot as plt

pedidos = pd.DataFrame({
    "semana": [1] * 7 + [2] * 7 + [3] * 7 + [4] * 7 + [5] * 7 + [6] * 7,
    "pedidos": [98, 102, 101, 99, 103, 100, 97, 104, 108, 105, 110, 107, 106,
                109, 111, 115, 117, 113, 116, 114, 118, 120, 123, 119, 126,
                124, 122, 127, 128, 133, 130, 136, 129, 138, 132, 139, 145,
                137, 149, 141, 151, 143]})

resumen = pedidos.groupby("semana")["pedidos"].agg(["mean", "std"])

fig, axes = plt.subplots(2, 1, figsize=(7.2, 4.8), sharex=True)

axes[0].plot(resumen.index, resumen["mean"], color="steelblue", marker="o")
axes[0].fill_between(resumen.index,
                     resumen["mean"] - resumen["std"],
                     resumen["mean"] + resumen["std"],
                     color="steelblue", alpha=0.2,
                     label="Media mas menos un desvio")
axes[0].set_title("El nivel sube y la variabilidad tambien")
axes[0].set_ylabel("Pedidos por dia")
axes[0].legend()

axes[1].bar(resumen.index, resumen["std"], color="darkorange")
axes[1].set_xlabel("Semana")
axes[1].set_ylabel("Desvio")

fig.tight_layout()
plt.show()

print(resumen.round(2).to_string())
print()
print("La media crece de", round(resumen["mean"].iloc[0], 1), "a",
      round(resumen["mean"].iloc[-1], 1), "pedidos por dia.")
print("El desvio crece de", round(resumen["std"].iloc[0], 2), "a",
      round(resumen["std"].iloc[-1], 2), ".")
print()
print("La banda dice cuanto se puede esperar que se aparte un dia cualquiera.")
print("Una banda que se ensancha es una operacion cada vez menos previsible,")
print("aunque el promedio mejore.")

import pandas as pd
import matplotlib.pyplot as plt

sensores = pd.read_csv("numpy_sensores.csv")
horas = [c for c in sensores.columns if c.startswith("h")]
lecturas = sensores[horas]
eje = [int(h[1:]) for h in horas]

media = lecturas.mean()
desvio = lecturas.std()

fig, ax = plt.subplots()
ax.plot(eje, media.to_numpy(), color="steelblue", marker="o", markersize=3)
ax.fill_between(eje, (media - desvio).to_numpy(), (media + desvio).to_numpy(),
                color="steelblue", alpha=0.2)
ax.set_title("Temperatura media por hora, sin filtrar")
ax.set_xlabel("Hora del dia")
ax.set_ylabel("Grados Celsius")
fig.tight_layout()
plt.show()

print("hora con el desvio mas alto:", desvio.idxmax(),
      "->", round(desvio.max(), 2), "grados")
print("desvio en el resto de las horas: entre",
      round(desvio.drop(desvio.idxmax()).min(), 2), "y",
      round(desvio.drop(desvio.idxmax()).max(), 2))
print()
print("De donde sale:")
sospechosa = sensores.loc[lecturas[desvio.idxmax()] > 60,
                          ["sensor_id", "ubicacion", desvio.idxmax()]]
print(sospechosa.to_string(index=False))
print()
peor = desvio.idxmax()
print("Una lectura de 999.9 en una sola hora de un solo sensor.")
print("Media de esa hora:", round(media[peor], 2),
      " | media del resto de las horas:",
      round(media.drop(peor).mean(), 2))
print("La banda se come todo el grafico y las otras 23 horas quedan")
print("aplastadas contra una linea.")

import pandas as pd
import matplotlib.pyplot as plt

sensores = pd.read_csv("numpy_sensores.csv")
horas = [c for c in sensores.columns if c.startswith("h")]
eje = [int(h[1:]) for h in horas]

# Politica: este edificio no supera los 60 grados en ninguna sala. Lo que pasa
# de ahi es una lectura rota del sensor, no una temperatura.
crudo = sensores[horas]
lecturas = crudo.mask(crudo > 60)
print("lecturas anuladas por imposibles:", int((crudo > 60).sum().sum()))
print("lecturas ausentes en el archivo:", int(crudo.isna().sum().sum()))
print("lecturas usadas:", int(lecturas.notna().sum().sum()), "de",
      lecturas.size)

media = lecturas.mean()
desvio = lecturas.std()

fig, ax = plt.subplots()
for _, fila in lecturas.iterrows():
    ax.plot(eje, fila.to_numpy(), color="0.8", linewidth=0.8)
ax.fill_between(eje, (media - desvio).to_numpy(), (media + desvio).to_numpy(),
                color="steelblue", alpha=0.25,
                label="Media mas menos un desvio")
ax.plot(eje, media.to_numpy(), color="steelblue", linewidth=2.5,
        label="Media de los diez sensores")
ax.set_title("El edificio se enfria de madrugada y se calienta hasta las 16")
ax.set_xlabel("Hora del dia")
ax.set_ylabel("Grados Celsius")
ax.set_xticks(range(0, 24, 3))
ax.legend()
fig.tight_layout()
plt.show()

print()
print("hora mas fria:", media.idxmin(), round(media.min(), 2))
print("hora mas calida:", media.idxmax(), round(media.max(), 2))
print("desvio, minimo y maximo:", round(desvio.min(), 2), round(desvio.max(), 2))
print()
print("Ahora el desvio esta entre", round(desvio.min(), 1), "y",
      round(desvio.max(), 1), "grados, y la banda dice algo:")
print("a cualquier hora, las salas del edificio difieren entre si en")
print("ese orden de magnitud.")

import pandas as pd
import matplotlib.pyplot as plt

sensores = pd.read_csv("numpy_sensores.csv")
horas = [c for c in sensores.columns if c.startswith("h")]
eje = [int(h[1:]) for h in horas]

crudo = sensores[horas]
lecturas = crudo.mask(crudo > 60)

todas = lecturas.stack()
media, desvio = todas.mean(), todas.std()
limite_alto, limite_bajo = media + 2 * desvio, media - 2 * desvio
z = (lecturas - media) / desvio
anomala = z.abs() > 2

# El mismo criterio, calculado sobre los datos sin filtrar.
sucias = crudo.stack()
z_sucio = (crudo - sucias.mean()) / sucias.std()
print("anomalias con el 999.9 adentro:", int((z_sucio.abs() > 2).sum().sum()))
print("anomalias con el 999.9 afuera: ", int(anomala.sum().sum()))

fig, ax = plt.subplots()
for indice, fila in lecturas.iterrows():
    ax.plot(eje, fila.to_numpy(), color="0.8", linewidth=0.8)
    marcadas = anomala.loc[indice]
    if marcadas.any():
        ax.scatter([int(h[1:]) for h in horas if marcadas[h]],
                   fila[marcadas].to_numpy(), color="red", s=28, zorder=3)
ax.axhline(limite_alto, color="crimson", linestyle="--",
           label=f"Media mas menos 2 desvios ({limite_bajo:.1f} a {limite_alto:.1f})")
ax.axhline(limite_bajo, color="crimson", linestyle="--")
ax.set_title("Catorce de las dieciseis anomalias vienen de dos sensores")
ax.set_xlabel("Hora del dia")
ax.set_ylabel("Grados Celsius")
ax.set_xticks(range(0, 24, 3))
ax.legend(loc="lower right")
fig.tight_layout()
plt.show()

print()
print("media:", round(media, 2), " desvio:", round(desvio, 2))
print("limites:", round(limite_bajo, 2), "a", round(limite_alto, 2))
print()
print("anomalias por sensor:")
por_sensor = anomala.sum(axis=1)
print(pd.DataFrame({"sensor": sensores["sensor_id"],
                    "ubicacion": sensores["ubicacion"],
                    "anomalas": por_sensor.to_numpy()})
      .query("anomalas > 0").to_string(index=False))
print()
print("Con el 999.9 adentro el desvio era", round(sucias.std(), 2),
      "y el corte alto estaba en",
      round(sucias.mean() + 2 * sucias.std(), 2), "grados:")
print("no marcaba a nadie. El unico dato imposible estaba escondiendo las")
print("lecturas raras de verdad, que es el modo mas caro de fallar: no se")
print("ve nada y todo parece en orden.")