Segunda semana del DP-600 con Alex Ayala y NamasData cerrada. La semana pasada creé mi primera tabla. Esta semana descubrí que no era una tabla… sino un puñado de ficheros con muy buena organización 😅
Y en algo que cambia tan rápido como Fabric, se agradece estudiar con alguien que va siempre al día: en clase vemos Fabric tal como está hoy, con sus últimos cambios.
Debajo de una tabla Delta
Si abres la vista de archivos de una tabla del Lakehouse, no ves una tabla. Ves una carpeta _delta_log, uno o varios ficheros .parquet y una carpeta de metadatos de Fabric.
Parquet a secas no es una tabla. Parquet + _delta_log, sí. Si solo tienes uno de los dos, no es una tabla Delta.
El punto de conexión SQL lee. Y solo lee.
Cada Lakehouse trae un punto de conexión SQL. Es muy cómodo, pero conviene tener claro hasta dónde llega:
✓ Sí hace
- SELECT
- Vistas, funciones y procedimientos
- Seguridad de filas y objetos
- Leer tablas que llegan por acceso directo
✕ No hace
- INSERT, UPDATE, DELETE
- Ver como tabla lo que vive en Files
- Crear el modelo semántico por defecto (ya no existe)
¿Borrar filas en un Lakehouse? Cuaderno con Spark. En un Warehouse, en cambio, T-SQL sí escribe. Dos piezas que se parecen mucho y no se comportan igual.
Dos tareas para tener las tablas en forma
- Optimizar · OPTIMIZEJunta muchos Parquet pequeños en pocos grandes. De 100 a 10.
- Eliminar no referenciados · VACUUMBorra los Parquet que el registro ya no usa y superan el umbral de retención.
El detalle que más me costó: el umbral se expresa en horas, no en días. Los 7 días por defecto son 168 horas; si quieres 30 días, es RETAIN 720 HOURS.
¿Qué borra DROP?
Tres tipos de tabla, y solo una se lleva los ficheros por delante:
- AdministradaNace sin LOCATION. DROP borra la entrada y los ficheros.
- ExternaNace con LOCATION, desde Spark. DROP borra la entrada; los ficheros se quedan.
- Acceso directoUn shortcut en Tables. DROP lo quita; el origen ni se entera.
¿No sabes cuál es la tuya? DESCRIBE EXTENDED te lo dice.
Accesos directos: apunta, no copia
Un acceso directo (shortcut) deja leer datos que viven en otro sitio sin moverlos. Pero no todos entran igual:
- Internos · OneLakeEntras tú, con tu propia identidad. Necesitas permiso en el destino.
- Externos · S3, ADLS…Entra la conexión. Todos usan la misma credencial (autorización delegada).
Y cada asistente pide lo suyo: Amazon S3, el id. de clave de acceso y la clave secreta; ADLS Gen2, una URL https con dfs (…dfs.core.windows.net).
Lo que más me hizo pensar
Busqué algo que ya no existe. Muchos tutoriales enseñan un modelo semántico que aparece solo al crear el Lakehouse. Lo busqué. No estaba.
Modelo semántico automático → lo creas tú.
Centro de datos de OneLake → Catálogo de OneLake.
Fabric cambia rápido. Un tutorial de hace un año ya puede estar desactualizado.
Lo que me llevo
- Entender qué hay debajo de una tabla lo cambia todo.
- Fabric está en constante cambio, y toca aprender a la par.
- Entender cada pieza es fácil; unirlas, no tanto.
¿Qué te costó más entender cuando empezaste con Fabric? Me encantará leerte.