Vocabulario de calidad de datos

import csv

with open("academico_cursos.csv", encoding="utf-8", newline="") as f:
    cursos = list(csv.DictReader(f))

print("academico_cursos.csv, columna creditos:")
for curso in cursos:
    print(f"   {curso['codigo']:<7} {curso['nombre']:<25} "
          f"creditos = {curso['creditos']!r}")

print()
print("Dos filas parecen el mismo problema y no lo son:")
print("   SO210 dice 0      -> el dato ESTA, y dice cero")
print("   ET100 dice ''     -> el dato NO esta, y no sabemos cuanto vale")

numeros = [int(c["creditos"]) for c in cursos if c["creditos"].strip().isdigit()]
print()
print("Y la diferencia se ve en cuanto se calcula algo:")
print("   suma                    :", sum(numeros))
print("   promedio sobre 7 cursos :", round(sum(numeros) / len(numeros), 2))
print("   promedio sobre 8 cursos :", round(sum(numeros) / len(cursos), 2))
print("   El segundo trata el vacio como un cero. Es una decision, y")
print("   cambia el resultado en", round(sum(numeros) / len(numeros)
                                         - sum(numeros) / len(cursos), 2))

print()
print("Cuatro cosas que se confunden todo el tiempo:")
print()
print(f"   {'concepto':<12} {'se escribe':<14} significa")
print("   " + "-" * 62)
print(f"   {'ausente':<12} {'campo vacio':<14} no lo sabemos")
print(f"   {'cero':<12} {'0':<14} lo sabemos, y es cero")
print(f"   {'vacio':<12} {chr(39)+chr(39):<14} lo sabemos, y es la cadena vacia")
print(f"   {'no aplica':<12} {'?':<14} la pregunta no tiene sentido para esta fila")

print()
print("La cuarta es la mas traicionera. 'Fecha de baja' de un empleado")
print("activo no esta ausente: NO APLICA. Rellenarla con la fecha de hoy,")
print("o con el promedio, produce un dato que nunca existio.")

print()
print("En un CSV los cuatro casos se escriben casi igual, asi que la unica")
print("forma de distinguirlos es que alguien lo haya documentado. Cuando no")
print("esta documentado, la decision la toma quien procesa: vos.")

import collections
import csv

NULOS = {"", "-", "N/A", "NaN", "null"}


def leer(nombre):
    with open(nombre, encoding="utf-8", newline="") as f:
        return list(csv.DictReader(f))


def numero(texto):
    try:
        return float(texto.strip())
    except ValueError:
        return None


hallazgos = []

# 1. AUSENTE: no hay dato.
clientes = leer("clientes_crudos.csv")
ausentes = sum(1 for x in clientes for v in x.values() if v.strip() in NULOS)
hallazgos.append(("ausente", "clientes_crudos", "celdas sin dato", ausentes))

# 2. TIPO INCORRECTO: el valor no es de la clase que la columna promete.
mal_tipo = [x["edad"] for x in clientes
            if x["edad"].strip() not in NULOS and numero(x["edad"]) is None]
hallazgos.append(("tipo_incorrecto", "clientes_crudos",
                  f"edad = {set(mal_tipo)}", len(mal_tipo)))

# 3. FUERA DE RANGO: es del tipo correcto y no puede valer eso.
libros = leer("libros_catalogo.csv")
anios = [x for x in libros
         if numero(x["anio"]) is not None and not 1400 <= numero(x["anio"]) <= 2026]
hallazgos.append(("fuera_de_rango", "libros_catalogo",
                  f"anio = {[x['anio'] for x in anios]}", len(anios)))

# 4. ATIPICO: esta en rango y se sale del resto por varios ordenes.
tx = leer("transacciones_categorias.csv")
importes = sorted(v for v in (numero(x["importe"]) for x in tx) if v is not None)
mediana = importes[len(importes) // 2]
extremos = [v for v in importes if v > mediana * 100]
hallazgos.append(("atipico", "transacciones_categorias",
                  f"mediana {mediana}, maximo {importes[-1]:.0f}", len(extremos)))

# 5. DOMINIO DESCONOCIDO: un valor que no esta en la lista permitida.
TIPOS = {"ingreso", "gasto"}
fuera = collections.Counter(x["tipo"] for x in tx if x["tipo"] not in TIPOS)
hallazgos.append(("dominio_desconocido", "transacciones_categorias",
                  f"tipo = {dict(fuera)}", sum(fuera.values())))

# 6. DUPLICADO: la clave se repite.
estudiantes = leer("academico_estudiantes.csv")
repetidos = [k for k, v in
             collections.Counter(x["legajo"] for x in estudiantes).items() if v > 1]
hallazgos.append(("duplicado", "academico_estudiantes",
                  f"legajo = {repetidos}", len(repetidos)))

# 7. HUERFANO: la referencia apunta a algo que no existe.
cursos = leer("academico_cursos.csv")
inscripciones = leer("academico_inscripciones.csv")
ids = {x["id"] for x in cursos}
huerfanas = [x for x in inscripciones if x["curso_id"] not in ids]
hallazgos.append(("huerfano", "academico_inscripciones",
                  f"curso_id = {[x['curso_id'] for x in huerfanas]}",
                  len(huerfanas)))

print(f"{'clase':<20} {'dataset':<26} {'casos':>6}  evidencia")
print("-" * 86)
for clase, dataset, evidencia, cuantos in hallazgos:
    print(f"{clase:<20} {dataset:<26} {cuantos:>6}  {evidencia}")

print()
print("Las siete se detectan de forma distinta:")
print("  ausente y tipo_incorrecto  -> mirando UNA celda")
print("  fuera_de_rango y dominio   -> UNA celda contra una regla externa")
print("  atipico                    -> una celda contra el RESTO de la columna")
print("  duplicado                  -> una fila contra las otras filas")
print("  huerfano                   -> una fila contra OTRA TABLA")
print()
print("Por eso las dos ultimas necesitan dos pasadas, o dos archivos.")

import csv
import re
from datetime import datetime


def numero(texto):
    try:
        return float(texto.strip())
    except ValueError:
        return None


with open("transacciones_categorias.csv", encoding="utf-8", newline="") as f:
    tx = list(csv.DictReader(f))

importes = sorted(v for v in (numero(x["importe"]) for x in tx) if v is not None)
n = len(importes)
mediana = importes[n // 2]

print("columna importe:", n, "valores")
print("   minimo :", importes[0])
print("   mediana:", mediana)
print("   maximo :", importes[-1])
print("   los cinco mas grandes:", importes[-5:])

print()
print("Dos valores extremos, y NO son la misma clase de problema:")
print()
print("   -310.0     -> IMPOSIBLE. Un importe negativo no existe en este")
print("                 dominio: es un error, y se rechaza.")
print("   5000000.0  -> POSIBLE. Una venta grande puede existir. Es un")
print("                 ATIPICO, y decidir que hacer con el es otra cosa.")

print()
sin_extremo = importes[:-1]
print("Lo que cambia el atipico si se lo deja:")
print("   promedio con el :", round(sum(importes) / len(importes), 2))
print("   promedio sin el :", round(sum(sin_extremo) / len(sin_extremo), 2))
print("   mediana         :", mediana, "(no se mueve: por eso se usa)")

print()
print("Con un atipico hay tres politicas y ninguna es obvia:")
print("   descartarlo -> si es un error de carga, corresponde")
print("   recortarlo  -> llevarlo al techo del rango razonable (clip)")
print("   conservarlo -> si es real, sacarlo es falsear el resultado")
print("Y elegir la mediana en vez del promedio suele resolver el problema")
print("sin tocar un solo dato.")

print()
print("=" * 66)
print("Y la otra distincion, la que mas cuesta:")
print()
print("   SINTACTICO: la forma. Se detecta sola, con un parser o una regex.")
print("     '2026-02-30'  tiene forma de fecha ISO y matchea el patron")
print()
print("   SEMANTICO: el significado. No se detecta solo NUNCA.")
print("     '2026-02-30'  no existe: febrero no tiene 30 dias")

PATRON = re.compile(r"\d{4}-\d{2}-\d{2}")
for texto in ("2026-03-15", "2026-02-30", "2026-13-01", "15/03/2026"):
    forma = "si" if PATRON.fullmatch(texto) else "no"
    try:
        datetime.strptime(texto, "%Y-%m-%d")
        real = "si"
    except ValueError:
        real = "no"
    print(f"   {texto:<12} forma valida: {forma:<3} fecha real: {real}")

print()
print("Las dos del medio pasan la forma y no existen. La regex no puede")
print("saberlo: '30' es un numero de dos digitos, y con eso se conforma.")