Llegados a este punto, la conclusión es que el panorama que ofrece el estado actual de la Ingeniería de Datos es diverso y sofisticado. En aras de comprenderlo es necesario diferenciar, al menos, las siguientes áreas:

Problemática de almacenamiento de datos¶

1. Motores de almacenamiento de los gestores de bases de datos con capacidades OLAP y/o OLTP
   
2. Arquitectura Zero-Disk
3. Soluciones Data Lake que soporten el Data Lakehouse y formatos open-table

Problemática de procesamiento e integración de datos¶

1. Soluciones para el procesamiento batch y/o en streaming
2. Herramientas para la orquestación y automatización de data pipelines
   
3. Herramientas para la ingestión e integración de datos que soporten CDC (Change Data Capture)
4. Monitorización y trazabilidad de data pipelines

Visualización de datos y metadatos¶

Conclusión¶

Mientras esperamos el próximo avance significativo en las arquitectura de datos, es probable que en el futuro previsible varios principios rectores sigan siendo pertinentes y aplicables:

1. Separación entre almacenamiento y computación: En los sistemas tradicionales, el almacenamiento está estrechamente vinculado al motor de ejecución para optimizar el rendimiento. Sin embargo, este modelo limita fundamentalmente la escalabilidad. La separación del almacenamiento del procesamiento permanecerá vigente en el procesamiento de datos analíticos. Los sistemas relacionales como Snowflake y AWS Aurora han adoptado esta disociación y confían en el almacenamiento de objetos escalable para obtener flexibilidad y escalabilidad
2. Duplicación de datos: Históricamente, los esfuerzos de procesamiento de datos se centraban en optimizar la disposición de los datos y minimizar su duplicación debido al elevado coste de almacenamiento. Hoy en día, el almacenamiento es barato, lo que permite a las organizaciones conservar los datos en bruto indefinidamente y volver a procesarlos cuando sea necesario. Conservar varias copias de los datos, sobre todo en distintos órdenes de clasificación, puede mejorar la eficacia del procesamiento. Sin embargo, aunque los costes de almacenamiento han disminuido, la gestión de datos sigue siendo compleja y costosa. Hay que prestar mucha atención al mantenimiento y la sincronización de estas copias adicionales
3. Gobernanza computacional de datos: Las prácticas de gobernanza de datos, incluidos el linaje y la procedencia de los datos, la calidad de los datos, la retención de datos, la adecuada gestión del ciclo de vida y las políticas de seguridad deben automatizarse e integrarse como ciudadanos de primera clase en cualquier plataforma de datos madura
   Tradicionalmente, estos aspectos se trataban a posteriori, lo que dificultaba la agilidad y solidez de los sistemas de datos. Hacer hincapié en la gobernanza informática es esencial para mantener la integridad y fiabilidad de las plataformas de datos modernas
4. Los datos como producto: Tratar los datos como un producto puede democratizar el acceso, mejorar la calidad y ampliar las prácticas de gestión de datos. Este enfoque es especialmente beneficioso en operaciones de datos a gran escala, aunque puede no ser tan práctico para entornos de menor escala. No obstante, adoptar una mentalidad de producto para la gestión de datos puede mejorar significativamente la forma en que se manejan y utilizan los datos en toda la organización
5. La promesa de los servicios basados en IA: Aunque todavía están en sus inicios, los servicios basados en IA tienen un gran potencial para simplificar y automatizar tareas complejas como la clasificación de datos, la integración de datos y el análisis avanzado de datos. Estos servicios podrían desempeñar un papel crucial a la hora de abordar algunos de los retos a los que se enfrentan las arquitecturas de datos actuales, proporcionando nuevas formas de gestionar y analizar datos a escala

Los principios rectores descritos anteriormente proporcionan una base sólida para crear y gestionar infraestructuras de gestión de datos eficaces. A medida que la tecnología siga evolucionando, estos principios ayudarán a las organizaciones a sortear las complejidades de la gestión de datos y a prepararse para la próxima oleada de innovaciones en este campo