En los últimos años, la evolución en el mundo de las tecnologías y las arquitecturas de datos ha ido cambiando de forma simultánea al crecimiento tanto en el volumen, como en la importancia, que los datos han ido adquiriendo en el mundo empresarial.  La eclosión de la conectividad, Internet y la nube han venido a revolucionar la forma en la que se capturan, almacenan, procesan y consumen la cada vez mayor cantidad de datos generados dentro y fuera de nuestras organizaciones. Hay que destacar que, con el paso del tiempo, la importancia de los datos no estructurados, los generados fuera de nuestra empresa, la frecuencia de cambio de los mismos, o la diversidad de fuentes de datos que manejamos han ido creciendo, y por lo tanto ha sido necesario desarrollar nuestras tecnologías o arquitecturas que nos permitan gestionar toda esta evolución. Esto llevó a muchos, a proclamar el fin del concepto del Data Warehouse.

En primer lugar, se acuñó el concepto de Big Data, que, con tecnologías como Hadoop, parecía que venían a resolver todos estos problemas. Y era así, pero para un tipo de caso de uso concreto y un perfil de proyecto o compañía determinado, pero pronto se vio que no podría ser una solución para otro gran número de casos de uso. Aquellos que predecían el fin del Data Warehouse, cometieron su primer error.

Con la rápida adopción de la nube, y el bajo coste de almacenamiento, aparece otro nuevo concepto, el Data Lake. Conceptualmente hablando, se trata de un almacén de datos, de bajo coste, en el que almacenamos nuestros datos, en forma de fichero, sin procesar, con el objetivo, en la mayoría de los casos, de servir de entrada para nuestros modelos de Machine Learning. Como el caso de uso, es diferente, tampoco podemos sustituir nuestro Data Warehouse, por un Datalake. Esto ha dado lugar, en los últimos tiempos, a la aparición del concepto mixto de Data Lakehouse, apadrinado por Databricks y adoptado también por Snowflake, en el que se intentan conjugar las bondades de ambas aproximaciones, para evitar el trasiego de datos entre diferentes entornos.

Pero entonces, ¿qué futuro tienen los Data Warehouse? Desde mi punto de vista, continuarán siendo la principal arquitectura para el análisis de datos, mientras la gestión de las compañías continue siendo basada en procesos, puesto que es la solución que mejor puede responder a un análisis de los datos estructurados que provengan de dichos procesos. Es por ello, que aproximaciones como el Data Activation (concepto que intenta aprovechar el dato limpio y de valor existente en el Data Warehouse para nutrir a las aplicaciones de negocio que el usuario utiliza en su día a día) que intentan aprovechar la inversión realizada en nuestros Data Warehouse, para generar realmente valor de esos datos y que sea aprovechado por el usuario en sus operaciones del día a día, están comenzando a ganar tracción dentro de las nuevas arquitecturas de Datos.

Quien tiene un buen Data Warehouse, tiene un tesoro.

Un artículo de Antonio J. Soto Rodríguez, Director Verne Tech.