Data Mesh

Data Mesh (mallas de datos) es un concepto relativamente nuevo en la gesti贸n de datos introducido como enfoque sociot茅cnico para compartir, acceder y gestionar datos anal铆ticos en entornos complejos a gran escala, tanto dentro de las organizaciones como entre ellas

Seg煤n Gartner, el Data Mesh se encuentra actualmente en el punto 谩lgido de expectativas, lo que pone de relieve su creciente inter茅s y escrutinio. Es importante se帽alar que Data Mesh no es una arquitectura de datos en el sentido tradicional, sino m谩s bien un cambio de paradigma en la forma en que las organizaciones abordan la propiedad, la gesti贸n y la gobernanza de los datos

Cambios fundamentales introducidos por la malla de datos

  1. Cambio organizativo: La malla de datos aboga por pasar de la propiedad centralizada de los datos, gestionada tradicionalmente por equipos especializados, a un modelo descentralizado en el que la propiedad y la responsabilidad de los datos se devuelven a los 谩mbitos empresariales en los que se originan o se utilizan m谩s activamente
  2. Cambio arquitect贸nico: En lugar de basarse en almacenes o lagos de datos monol铆ticos, Data Mesh propone un sistema distribuido en el que los datos se conectan y a los que se accede a trav茅s de protocolos estandarizados. Este enfoque favorece una arquitectura de datos m谩s escalable y flexible
  3. Cambio tecnol贸gico: En Data Mesh, los datos son tratados como ciudadanos de primera clase, no como un mero subproducto de la ejecuci贸n de c贸digo pipeline. Los datos y el c贸digo que los mantiene se consideran unidades aut贸nomas y vivas que pueden evolucionar independientemente
  4. Cambio operativo: La gobernanza de los datos pasa de un modelo jer谩rquico y centralizado, con una importante intervenci贸n humana, a un modelo federado. En este modelo, las pol铆ticas de gobernanza se integran computacionalmente en los nodos de la malla, lo que permite unas pr谩cticas de gobernanza m谩s din谩micas y escalables
  5. Cambio del sistema de valores: La perspectiva fundamental sobre los datos pasa de tratarlos como un activo est谩tico que hay que recopilar a verlos como un producto dise帽ado para servir y deleitar a sus usuarios

Principios b谩sicos del dise帽o de mallas de datos

  1. Propiedad de datos descentralizada y orientada al dominio: La propiedad de los datos anal铆ticos se descentraliza a los dominios de negocio, facultando a los m谩s cercanos a los datos para gestionarlos y compartirlos. Este principio se alinea con el dise帽o orientado al dominio (DDD) y subraya la importancia de la experiencia del dominio en la gesti贸n de datos
  2. Los datos como producto: La malla de datos requiere que los 谩mbitos empresariales traten sus datos como un producto, abstrayendo la complejidad subyacente y garantizando que sean descubribles, comprensibles, direccionables, fiables, seguros, interoperables, accesibles y valiosos
  3. Infraestructura de datos de autoservicio: La arquitectura promueve una infraestructura de datos de autoservicio que permite a los equipos orientados a los dominios gestionar todo el ciclo de vida de los datos, desde su adquisici贸n hasta su democratizaci贸n, sin depender en gran medida de equipos de TI centralizados
  4. Gobernanza computacional federada: La gobernanza en una malla de datos est谩 federada y cada equipo de dominio de datos es responsable de sus productos de datos locales al tiempo que se adhiere a las pol铆ticas de gobernanza globales. Este enfoque garantiza que los datos sean detectables, seguros, fiables y reutilizables en toda la organizaci贸n

Ventajas de la malla de datos

  • Productos de datos personalizados: Data Mesh permite la entrega de productos de datos personalizados que satisfacen demandas empresariales espec铆ficas, vinculando objetivos empresariales estrat茅gicos con un ecosistema din谩mico de productos de datos
  • Escalabilidad a trav茅s de la descentralizaci贸n: Al descentralizar la propiedad y aprovechar la experiencia espec铆fica del dominio, Data Mesh escala la entrega de productos de datos y fomenta un cambio cultural hacia una mentalidad de productos de datos
  • Agilidad mejorada: Al descomponer las arquitecturas monol铆ticas y centralizadas y abstraer la complejidad, Data Mesh mejora la agilidad organizativa, lo que permite responder con mayor rapidez a las necesidades empresariales
  • Modelo de gobernanza flexible: El modelo de gobierno federado permite a las organizaciones adaptar las pr谩cticas de gobierno a sus necesidades espec铆ficas, equilibrando la autonom铆a local con la supervisi贸n centralizada

Retos y consideraciones para implantar la malla de datos

La malla de datos ha llamado mucho la atenci贸n desde su introducci贸n en 2019. En la superficie, la malla de datos aborda muchos problemas existentes y puede proporcionar varios beneficios esenciales. Sin embargo, sigue siendo un concepto relativamente nuevo y a煤n no se ha materializado por completo en las ofertas existentes en el mercado. Hasta ahora, tiene una penetraci贸n de mercado del 5% al 20% y Gartner predice que se volver谩 obsoleta antes de alcanzar la meseta de productividad en su Hype Cycle de 2023. Hay que tener en cuenta algunos factores antes de implantar la malla de datos