Data Mesh

Data Mesh (mallas de datos) es un concepto relativamente nuevo en la gestión de datos introducido como enfoque sociotécnico para compartir, acceder y gestionar datos analíticos en entornos complejos a gran escala, tanto dentro de las organizaciones como entre ellas

Según Gartner, el Data Mesh se encuentra actualmente en el punto álgido de expectativas, lo que pone de relieve su creciente interés y escrutinio. Es importante señalar que Data Mesh no es una arquitectura de datos en el sentido tradicional, sino más bien un cambio de paradigma en la forma en que las organizaciones abordan la propiedad, la gestión y la gobernanza de los datos

Cambios fundamentales introducidos por la malla de datos

  1. Cambio organizativo: La malla de datos aboga por pasar de la propiedad centralizada de los datos, gestionada tradicionalmente por equipos especializados, a un modelo descentralizado en el que la propiedad y la responsabilidad de los datos se devuelven a los ámbitos empresariales en los que se originan o se utilizan más activamente
  2. Cambio arquitectónico: En lugar de basarse en almacenes o lagos de datos monolíticos, Data Mesh propone un sistema distribuido en el que los datos se conectan y a los que se accede a través de protocolos estandarizados. Este enfoque favorece una arquitectura de datos más escalable y flexible
  3. Cambio tecnológico: En Data Mesh, los datos son tratados como ciudadanos de primera clase, no como un mero subproducto de la ejecución de código pipeline. Los datos y el código que los mantiene se consideran unidades autónomas y vivas que pueden evolucionar independientemente
  4. Cambio operativo: La gobernanza de los datos pasa de un modelo jerárquico y centralizado, con una importante intervención humana, a un modelo federado. En este modelo, las políticas de gobernanza se integran computacionalmente en los nodos de la malla, lo que permite unas prácticas de gobernanza más dinámicas y escalables
  5. Cambio del sistema de valores: La perspectiva fundamental sobre los datos pasa de tratarlos como un activo estático que hay que recopilar a verlos como un producto diseñado para servir y deleitar a sus usuarios

Principios básicos del diseño de mallas de datos

  1. Propiedad de datos descentralizada y orientada al dominio: La propiedad de los datos analíticos se descentraliza a los dominios de negocio, facultando a los más cercanos a los datos para gestionarlos y compartirlos. Este principio se alinea con el diseño orientado al dominio (DDD) y subraya la importancia de la experiencia del dominio en la gestión de datos
  2. Los datos como producto: La malla de datos requiere que los ámbitos empresariales traten sus datos como un producto, abstrayendo la complejidad subyacente y garantizando que sean descubribles, comprensibles, direccionables, fiables, seguros, interoperables, accesibles y valiosos
  3. Infraestructura de datos de autoservicio: La arquitectura promueve una infraestructura de datos de autoservicio que permite a los equipos orientados a los dominios gestionar todo el ciclo de vida de los datos, desde su adquisición hasta su democratización, sin depender en gran medida de equipos de TI centralizados
  4. Gobernanza computacional federada: La gobernanza en una malla de datos está federada y cada equipo de dominio de datos es responsable de sus productos de datos locales al tiempo que se adhiere a las políticas de gobernanza globales. Este enfoque garantiza que los datos sean detectables, seguros, fiables y reutilizables en toda la organización

Ventajas de la malla de datos

  • Productos de datos personalizados: Data Mesh permite la entrega de productos de datos personalizados que satisfacen demandas empresariales específicas, vinculando objetivos empresariales estratégicos con un ecosistema dinámico de productos de datos
  • Escalabilidad a través de la descentralización: Al descentralizar la propiedad y aprovechar la experiencia específica del dominio, Data Mesh escala la entrega de productos de datos y fomenta un cambio cultural hacia una mentalidad de productos de datos
  • Agilidad mejorada: Al descomponer las arquitecturas monolíticas y centralizadas y abstraer la complejidad, Data Mesh mejora la agilidad organizativa, lo que permite responder con mayor rapidez a las necesidades empresariales
  • Modelo de gobernanza flexible: El modelo de gobierno federado permite a las organizaciones adaptar las prácticas de gobierno a sus necesidades específicas, equilibrando la autonomía local con la supervisión centralizada

Retos y consideraciones para implantar la malla de datos

La malla de datos ha llamado mucho la atención desde su introducción en 2019. En la superficie, la malla de datos aborda muchos problemas existentes y puede proporcionar varios beneficios esenciales. Sin embargo, sigue siendo un concepto relativamente nuevo y aún no se ha materializado por completo en las ofertas existentes en el mercado. Hasta ahora, tiene una penetración de mercado del 5% al 20% y Gartner predice que se volverá obsoleta antes de alcanzar la meseta de productividad en su Hype Cycle de 2023. Hay que tener en cuenta algunos factores antes de implantar la malla de datos