Cerrar la brecha entre la computación de alto rendimiento (HPC) y la IA soberana: parte dos de tres
Si aún no has leído la primera parte sobre los fundamentos de la computación de alto rendimiento (HPC), échale un vistazo.
Principios clave de un data lakehouse soberano
El Open Data Lakehouse: una plataforma PaaS sencilla para ingenieros
Aunque el software tradicional de simulación de ingeniería destaca por ayudar a los ingenieros mecánicos a preparar, ejecutar y analizar trabajos de simulación, carece de un diseño nativo para gestionar los flujos de trabajo modernos de aprendizaje automático (ML) y los pipelines de datos. Un data lakehouse abierto puede salvar esta brecha, ofreciendo a los ingenieros de I&D capacidades sólidas y contemporáneas en una plataforma que probablemente el departamento de TI ya conoce.
Los principales casos de uso y beneficios de un open data lakehouse incluyen:
Almacenamiento de datos rentable y gobernado: ofrece un almacenamiento prácticamente ilimitado y de bajo coste para archivar años de instantáneas de simulación (los conjuntos de datos generados por las sesiones del solucionador). Este almacenamiento se gestiona y gobierna de forma coherente en todas las organizaciones o equipos de ingeniería e IT. De forma crucial, se conservan los metadatos esenciales y el linaje de cada conjunto de datos, transformándolo de un archivo opaco en un activo de confianza que puede reutilizarse fácilmente más allá de su creador original.
Acceso simplificado a los recursos de computación: Los ingenieros pueden implementar fácilmente y rápidamente cuadernos compartidos y clústeres de Apache Spark o Python Ray. Estos suelen compartir los mismos recursos de GPU dedicados que utiliza el clúster HPC principal.
Protección mediante estándares abiertos: un data lakehouse abierto prioriza estándares abiertos como Apache Iceberg, Parquet y Python sobre formatos de ingeniería propietarios. Esto es crucial para salvaguardar la propiedad intelectual (PI) de una empresa, garantizando que los datos de simulación sigan siendo accesibles y utilizables por cualquier herramienta, ahora y en el futuro, independientemente de la evolución de la infraestructura IT de la empresa o de su estrategia de proveedores.
Una experiencia de PaaS similar a la nube: los data lakehouses, estructurados como pilas de plataformas como servicio (PaaS) fáciles de usar y de autoservicio, simplifican el uso de herramientas complejas de ingeniería de datos y MLOps, lo que permite salvar de manera eficaz la brecha de conocimientos entre usuarios con diferentes perfiles técnicos y fomenta un intercambio productivo de competencias.
El riesgo de la nube pública para proteger la IP de I+D
Aunque un repositorio de datos ofrece muchas ventajas, por sí solo no es una solución completa para sectores altamente regulados (como el aeroespacial, la defensa, la energía y la automoción) donde la soberanía es un requisito innegociable. En pocas palabras: no todos los repositorios de datos se pueden implementar y operar de acuerdo con los mandatos de soberanía de los datos, y confiar en la nube pública conlleva un riesgo importante para mantener el control más estricto sobre la propiedad intelectual privada.
Por ejemplo, una única instantánea de un trabajo de dinámica de fluidos computacional (CFD), como un nuevo diseño de motor, representa efectivamente el plano completo de su rendimiento y diseño industrial. Este conjunto de datos es la joya de la corona de una empresa. Por ello, es crucial determinar qué capacidades clave no funcionales de un data lakehouse pueden proporcionar la garantía legal absoluta de soberanía operativa necesaria para almacenar dichos activos estratégicos. Esto conduce directamente al núcleo del debate entre residencia y soberanía.
Residencia de datos vs. soberanía
La definición tradicional de soberanía como operar en el país de origen de una empresa es una noción anticuada, un vestigio de la era previa a la nube. Anteriormente, la infraestructura de centros de datos solía estar gestionada por personal local, lo que la sometía inherentemente a la jurisdicción local y a las obligaciones legales de la empresa. Sin embargo, el auge de las ofertas comerciales en la nube y la necesidad de que los proveedores garanticen unos objetivos de nivel de servicio extremadamente elevados las 24 horas del día, los 7 días de la semana han hecho posible por completo las operaciones remotas en la nube a escala mundial. Este avance imposibilita garantizar, al menos en regiones con estándares comerciales, la residencia del equipo directivo, rompiendo así el vínculo entre la "residencia de los datos" y la verdadera "soberanía".
Por consiguiente, la arquitectura más fiable para gestionar y procesar datos de ingeniería críticos es un repositorio de datos soberano: un repositorio de datos abierto que sea intrínsecamente híbrido e independiente de la nube.
Este enfoque ofrece la rapidez y la facilidad de una experiencia PaaS similar a la de la nube, junto con un cumplimiento normativo integrado en el diseño, lo que permite a una empresa cumplir con las políticas nacionales o de otras jurisdicciones que exijan operar íntegramente en un entorno (y con personal) soberano, privado y controlado.
Término |
Explicación |
Impacto empresarial |
Residencia de datos |
Los datos se asientan físicamente en hardware dentro de las fronteras geopolíticas de un país específico. |
Se encarga de los requisitos básicos de cumplimiento local, no necesariamente relacionados con la seguridad, sino principalmente sobre la latencia entre los propios datos y las soluciones de IT que consumen ese conjunto de datos en particular. |
Soberanía operativa |
Garantiza que las personas que gestionan la infraestructura en la nube (operaciones en la nube) y el marco legal que rige el proveedor también sean locales y estén bajo el gobierno soberano adecuado. |
Previene el riesgo de solicitudes de acceso de gobiernos extranjeros que puedan obligar legalmente al proveedor a entregar la propiedad intelectual confidencial sin el consentimiento de la empresa. |
Economía de la IA: lograr la previsibilidad de los costes de los modelos de IA
Más allá de la seguridad y el cumplimiento legal, una arquitectura de almacenamiento de datos soberanos ofrece otra ventaja crucial: una gestión predecible de los costes para implementar los flujos de trabajo de la IA.
El modelo financiero de la ejecución de servicios de IA en la nube pública es inherentemente variable y se basa en el consumo, vinculando los costes directamente a las métricas de uso (como las horas GPU, los tokens procesados, el volumen operativo y los datos escaneados). A medida que más equipos, proyectos y aplicaciones aprovechan la infraestructura de la nube, el coste crece exponencialmente. Este modelo resulta especialmente desafiante para tareas de alta demanda como entrenar modelos complejos de IA generativa o autocodificadores pesados, que requieren un uso dedicado, constante y masivo de GPU, que a menudo es difícil de compartir de forma eficiente.
La transición a un data lakehouse soberano implementado en un centro de datos de coubicación privado o de coste fijo permite a una organización lograr un gasto predecible gracias a:
Establecimiento de inversiones en activos fijos: las organizaciones invierten en infraestructura fija y compartida. Esta configuración permite que varios equipos y proyectos utilicen los mismos recursos, lo que reduce el coste marginal de iniciar nuevos experimentos de I+D a casi cero.
Eliminar el "bill shock": esta arquitectura elimina por completo cualquier riesgo financiero asociado a gastos inesperados y masivos, como los causados por inferencias de alto volumen, bucles de entrenamiento iterativo continuo de I+D, o tarifas prohibitivas de transferencia de datos comunes en zonas de nube pública.
Para saber más, sigue leyendo en la parte tres.