Capítulo 6. Arquitectura de capas en dbt

Si vienes de Databricks o has leído sobre arquitecturas de datos modernas, seguramente conoces el patrón medallion:

• bronze para datos crudos,
• silver para datos limpios y
• gold para datos listos para consumo.

Este capítulo del libro Data Engineering with dbt explica cómo implementar esta arquitectura medallion en dbt.

Los principios que sostienen la arquitectura medallion

Antes de entrar en capas, el capítulo establece las reglas que evitan que tu proyecto se convierta en un caos:

• qué tiene que hacer cada mdoelo
• cómo deben ser las dependencias entre las capas
• qué nombres dar a los modeloa...

Ignorar estos principios es lo que convierte proyectos prometedores en monstruos que nadie quiere tocar.

Bronze (staging): datos crudos con estructura

La capa bronze es donde los datos entran a tu plataforma. El capítulo detalla qué transformaciones son válidas aquí y cómo estructurar un modelo.

Silver (refined): lógica de negocio organizada

Aquí es donde el capítulo aporta más valor.

No todos los modelos intermedios son iguales, y mezclarlos genera confusión. En este apartado veremos una estructura para organizar los modelos intermedios.

De esta manera, cualquiera podrá entender qué hace un modelo solo con leerlo.

Gold (marts) y gestión de historia

La capa gold entrega datos listos para reporting. Pero antes de llegar ahí, necesitas decidir cómo gestionar el histórico. El capítulo cubre dos enfoques:

• snapshots de dbt (que implementan SCD2 automáticamente) y
• modelos incrementales insert-only para cuando necesitas más control.

Veremos las estrategias timestamp y check, cómo detectar borrados, y un truco útil: usar modelos ephemeral para aplicar transformaciones dentro del snapshot sin duplicar código.

¡A por ello! 🥷

Principios clave para controlar la complejidad en dbt