Rompiendo las barreras de los datos: la audaz transformación del Banco de España con Cloudera

Estabilizar la economía sobre una base de datos

El Banco de España (BdE) es una entidad de derecho público que desarrolla en España la función de banco central nacional. Tiene asimismo asignada la supervisión del sistema bancario español y la de otros intermediarios financieros que operan en España, y todo ello en el marco institucional europeo, del que BdE forma parte como integrante del Sistema Europeo de Bancos Centrales y del Eurosistema. Su misión es conseguir la estabilidad de los precios y la estabilidad financiera, favoreciendo con ello el crecimiento económico estable. Además, contribuye con su análisis a la formulación de otras políticas económicas. BdE maneja una ingente cantidad de información, imprescindible para elaborar los informes y estudios que se publican, por lo que un buen aprovechamiento de los datos es fundamental.

Un sistema crítico presionado por los silos y la obsolescencia

Uno de los servicios clave que proporciona BdE es la Central de Información de Riesgos (CIR). Se trata de un servicio público que gestiona una base de datos en la que constan, prácticamente, todos los préstamos, créditos, avales, y riesgos en general que las entidades financieras tienen con sus clientes. La CIR envía y recibe datos de 360 entidades, con un importe en créditos y otros riesgos de más de 3 billones de euros. Este sistema está continuamente actualizándose, emitiendo más de 450 millones de informes anualmente.

Fue precisamente en la CIR donde se utilizó el primer ordenador que llegó a BdE en los años 60 del siglo pasado. Posteriormente se fueron incorporando diferentes soluciones tecnológicas como un sistema operacional basado en mainframe y un sistema analítico que utiliza bases de datos relacionales. Con el paso de los años, las volumetrías de datos crecieron de manera significativa, y las tecnologías y soluciones existentes mostraron limitaciones para dar respuesta a las necesidades de BdE. Los datos se organizaban en silos que complicaban el acceso e interoperabilidad, y resultaban en un modelo con múltiples fuentes de verdad, por lo que la calidad del dato se veía comprometida. A todo ello se añadía cierto nivel de obsolescencia con aplicaciones poco flexibles y costes elevados de mantenimiento.

De los silos a la sinergia: unificación de datos con un 'lakehouse' moderno

Para mejorar esa situación, y dentro de su Plan Estratégico 20-24, BdE abordó el rediseño del tratamiento de la información, y en particular el sistema analítico de la CIR. Entre los diferentes objetivos definidos en el Plan, destacanla capacidad de analizar cantidades cada vez mayores de datos y la unificación del gobierno del dato, aspecto crucial para gestionar el ciclo de vida del dato (linaje, auditoria, seguridad).

BigCIR se implementa sobre un data lake basado en tecnología Cloudera, que proporciona una mayor agilidad a la hora de procesar la información, además de eliminar los silos de datos y adaptarse a las nuevas demandas analíticas de los usuarios. El proyecto también permite dar respuesta al crecimiento exponencial detectado en el análisis de microdatos. y prepararse para el desarrollo de capacidades de Inteligencia Artificial. 

El éxito medido en terabytes y confianza

El data lake se puso en funcionamiento en junio de 2023, y en la actualidad gestiona hasta 850 TB de datos, cuenta con 77.000 millones de registros y da respuesta a unas 3.300 consultas semanales realizadas por más de 200 trabajadores de BdE. Se trata de un proyecto disruptivo y exitoso, gracias al cual se pone a disposición de los usuarios todos los microdatos de la CIR, en una plataforma abierta que integra herramientas analíticas para poder explotar los datos de manera satisfactoria.

Otro de los puntos en el que se ha hecho especial foco es en la calidad de los datos. Gracias a las capacidades de automatización avanzada de la plataforma Cloudera, BdE ha conseguido que toda la información publicada disponga de sus etiquetas apropiadas para conocer el grado de veracidad. Estos indicadores de calidad permiten a los usuarios la interpretación correcta de los datos, sean o no definitivos.

Tras estandarizar y automatizar los procesos de tratamiento de la información, el Banco de España está preparado para las demandas actuales en materia de información, implementado una arquitectura técnica del dato que acelera el desarrollo y la implantación de otros casos de uso. De cara al futuro, BdE está trabajando en mejorar la usabilidad del sistema, evolucionando hacia un modelo de sandbox con componentes reutilizables y avanzar hacia un modelo híbrido con posibilidad de conectar a la nube si fuera necesario.