Sesiones 1–4 · Fundamentos y motores

• S1 · Entorno Hadoop con contenedores
  • Big Data, modelo MapReduce y procesamiento distribuido
  • Clúster local, HDFS, YARN, NameNode, DataNodes y NodeManagers
• S2 · TPC-DS en Parquet sobre HDFS
  • TPC-DS SF1 combinado de forma determinista con municipios del INE
  • Rutas, esquemas y lectura mediante WebHDFS, PyArrow, Polars y DuckDB
• S3 · Data lake sobre almacenamiento S3-compatible
  • Objetos, buckets y prefijos frente a ficheros y bloques HDFS
  • RustFS, API S3 y lectura de los mismos Parquet con distintas herramientas
• S4 · Spark como motor distribuido
  • DataFrames, transformaciones, acciones, joins, ventanas y planes
  • Ejecución local y sobre YARN, particiones, driver y ejecutores

Un mismo recorrido de datos durante las sesiones

Las sesiones trabajan sobre un dataset común y reproducible:

TPC-DS SF1                         Relación de municipios del INE
  (ventas, clientes, fechas)          (municipio y provincia españoles)
             \                         /
              \   cruce determinista /
               ↓
        /datalake/raw/tpcds en HDFS
        Parquet con ciudades y provincias españolas
               ↓
   S3 -> Spark/YARN -> silver/gold -> Hive/Trino -> Iceberg/streaming

S2 realiza la descarga, normalización y materialización; las sesiones
posteriores consumen el estado que deja el notebook anterior. El CI ejecuta
esos mismos notebooks y comprueba sus salidas, mientras que el arranque de
contenedores queda como preparación del entorno