JSON con pandas

import json

import pandas as pd

with open("eventos_usuarios.json", encoding="utf-8") as f:
    crudo = json.load(f)

print("el archivo es un", type(crudo).__name__, "con las claves:", list(crudo))
print("origen:", crudo["origen"])
print("eventos:", len(crudo["eventos"]), "elementos")

print()
print("la tabla esta ADENTRO, en la clave 'eventos':")
eventos = pd.json_normalize(crudo["eventos"])
print(eventos.shape, list(eventos.columns))
print(eventos.head(3).to_string(index=False))

print()
print("read_json directo sobre este archivo no encuentra la tabla:")
directo = pd.read_json("eventos_usuarios.json")
print(directo.shape, list(directo.columns))
print("Devolvio 2 columnas porque tomo las dos claves de primer nivel.")
print()
print("Con JSON, el primer paso es MIRAR la estructura. json.load y un")
print("print alcanzan, y evitan pelearse a ciegas con read_json.")

import json

import pandas as pd

with open("usuarios_perfiles.json", encoding="utf-8") as f:
    crudo = json.load(f)

perfiles = pd.json_normalize(crudo["usuarios"])
print("forma:", perfiles.shape)
print("columnas:", list(perfiles.columns))

print()
print("Las claves de 'preferencias' quedaron como preferencias.tema,")
print("preferencias.idioma y preferencias.notificaciones.")

print()
print(perfiles[["id", "nombre", "edad", "preferencias.tema",
                "preferencias.idioma"]].head(5).to_string(index=False))

print()
print("ausentes por columna:")
print(perfiles.isna().sum().to_string())

print()
print("No todos los usuarios traen las mismas claves: a uno le falta el")
print("idioma. json_normalize no se queja, pone NaN y sigue, que es lo que")
print("uno quiere: la alternativa seria fallar por un campo opcional.")

import json

import pandas as pd

with open("usuarios_perfiles.json", encoding="utf-8") as f:
    crudo = json.load(f)

perfiles = pd.json_normalize(crudo["usuarios"])

print("columnas:", list(perfiles.columns))
print()
print("Hay preferencias.tema, preferencias.idioma, preferencias.notificaciones")
print("Y ADEMAS una columna que se llama 'preferencias' a secas:")
print("valores no nulos en 'preferencias':",
      int(perfiles["preferencias"].notna().sum()), "de", len(perfiles))

print()
# De donde sale: un usuario tiene preferencias: null en vez de un objeto.
sin_pref = [u["id"] for u in crudo["usuarios"] if u.get("preferencias") is None]
print("usuarios con preferencias = null:", sin_pref)
print("Como ese valor no es un diccionario, json_normalize no lo puede")
print("aplanar y lo deja en una columna aparte, que queda toda vacia.")

print()
util = perfiles.drop(columns=["preferencias"])
print("despues de sacarla:", list(util.columns))

print()
print("Es un caso que hay que MIRAR, no un error: ese usuario existe y no")
print("tiene preferencias cargadas. Lo que no sirve es la columna vacia.")

import json

import pandas as pd

with open("usuarios_perfiles.json", encoding="utf-8") as f:
    crudo = json.load(f)

# record_path dice cual es la lista que hay que explotar; meta, que datos
# del nivel de arriba hay que arrastrar a cada fila.
habilidades = pd.json_normalize(
    crudo["usuarios"],
    record_path="habilidades",
    meta=["id", "nombre"],
)
habilidades = habilidades.rename(columns={0: "habilidad"})

print("forma:", habilidades.shape)
print(habilidades.head(6).to_string(index=False))

print()
print("usuarios:", habilidades["id"].nunique())
print("habilidades distintas:", habilidades["habilidad"].nunique())

print()
print("las mas frecuentes:")
print(habilidades["habilidad"].value_counts().head(5).to_string())

print()
print("Lo mismo se puede hacer con explode() si la lista ya esta en una")
print("columna, pero record_path lo resuelve al leer, en un solo paso.")

import pandas as pd

tabla = pd.DataFrame({
    "sku": ["A1", "A2"],
    "nombre": ["Teclado ñandú", "Ratón"],
    "precio": [10.5, 20.0],
})

print('orient="records" (una lista de objetos, el mas usado):')
print(tabla.to_json(orient="records", force_ascii=False, indent=2))

print()
print('orient="columns" (el default: un objeto por columna):')
print(tabla.to_json(orient="columns", force_ascii=False))

print()
print('orient="split" (columnas, indice y datos por separado):')
print(tabla.to_json(orient="split", force_ascii=False))

print()
print("Y sin force_ascii=False:")
print(tabla.to_json(orient="records"))
print()
print("Los acentos salieron como \\u escapes. Es JSON valido y lo lee")
print("cualquiera, pero el archivo deja de ser legible para una persona.")
print("En pandas el parametro se llama force_ascii; en el modulo json,")
print("ensure_ascii. Hacen lo mismo con nombres distintos.")