Cloudera Data Engineering
Crea, orquesta y gestiona canalizaciones de datos de nivel empresarial con Apache Spark en Iceberg. Impulsa la IA escalable y el análisis multifuncional desde las nubes hasta los centros de datos.
Descripción
El estándar abierto de ingeniería de datos empresariales
La ingeniería de datos permite a los equipos empresariales crear, automatizar y escalar de forma segura canalizaciones de datos sobre la base de un lakehouse abierto. Impulsa el análisis multifuncional y la IA para datos en cualquier lugar.
Unifica datos estructurados y no estructurados con Apache Spark en Iceberg, orquestados a través de Airflow, totalmente abiertos y sin dependencia de proveedores.
Crea, ejecuta y gestiona canalizaciones de datos en cualquier lugar (nubes, centros de datos o entornos híbridos) con la flexibilidad de los contenedores y un gobierno unificado.
Consigue rentabilidad con herramientas de gobierno financiero para la optimización de recursos, incluyendo observabilidad a nivel de carga de trabajo, autoescalado y uso compartido de datos sin ETL.
CASOS DE USO
Crea pipelines de datos integrales para acelerar la IA y el análisis.
-
Crea pipelines escalables para datos en cualquier lugar
Ofrece portabilidad de la carga de trabajo, estándares abiertos y escalabilidad en la nube y en las instalaciones.
-
Acelere DataOps con la orquestación
Automatiza los flujos de trabajo, itera los pipelines y simplifica las colaboraciones.
-
Intercambio de datos sin ETL
Facilita un acceso seguro y fiable a los datos, tanto a nivel interno como externo.
-
Monitoriza y optimiza los costes del pipeline
Reduce el TCO con observabilidad y computación eficiente.
-
Crea pipelines escalables para datos en cualquier lugar
Ofrece portabilidad de la carga de trabajo, estándares abiertos y escalabilidad en la nube y en las instalaciones.
-
Acelere DataOps con la orquestación
Automatiza los flujos de trabajo, itera los pipelines y simplifica las colaboraciones.
-
Intercambio de datos sin ETL
Facilita un acceso seguro y fiable a los datos, tanto a nivel interno como externo.
-
Monitoriza y optimiza los costes del pipeline
Reduce el TCO con observabilidad y computación eficiente.
20 %
eficiencia mejorada del equipo de datos
Aumente la eficiencia con portabilidad, orquestación y acceso unificado a los datos de Cloudera en el entorno local.
Ejecuta Spark, Iceberg y Airflow desde cualquier lugar, con una experiencia de ingeniería de datos nativa en la nube.
Aumenta la productividad de los profesionales con herramientas intuitivas y seguras para la empresa
Crea, prueba y coordina pipelines con Sessions y Apache Airflow.
Entrega datos actualizados a los pipelines descendentes y a las plataformas externas.
Conéctate a motores externos a través del catálogo REST de Iceberg con gobierno y linaje de metadatos.
Escala de forma más inteligente con un gobierno financiero a nivel de carga de trabajo
Optimiza los costos con conocimientos integrados y procesadores AWS Graviton de bajo consumo.
Ejecuta canalizaciones escalables y gobernadas con Spark en Iceberg en contenedores desde el lakehouse de datos abierto. Aprovecha la revolución de esquemas, el viaje en el tiempo y el intercambio de datos externos de Iceberg en entornos locales o en la nube.
Orquestación mediante arrastrar y soltar para flujos de trabajo complejos, lo que simplifica la gestión de tareas, el control de dependencias y la conectividad con herramientas externas.
Inicia sesiones bajo demanda para realizar pruebas e iteraciones rápidas. Permite el desarrollo remoto y seguro desde cualquier IDE (p. ej., VSCode y Jupyter Notebook) con la tecnología de Spark Connect.
Mantenga los datos actualizados capturando los cambios a nivel de fila de los sistemas de origen. Automatice actualizaciones continuas para crear canales de datos fiables.
Supervisa las canalizaciones de datos de principio a fin con la gestión de metadatos y linaje de datos integrada. Con la tecnología de Cloudera Shared Data Experience (SDX) y Cloudera Octopai Data Lineage para obtener visibilidad automatizada, gobierno e información fiable en entornos híbridos.
Automatiza los flujos de trabajo de las canalizaciones en cualquier servicio con API robustas, tanto si trabajas con SQL, Java, Scala o Python. Diagnostica y resuelve rápidamente los problemas de rendimiento con perfiles visuales en tiempo real, junto con funciones integradas de supervisión y alertas para cada etapa del ciclo de vida.
Características por tipo de clúster de Data Engineering de Cloudera
| Clúster principal | Clúster multiusos | ||
Infraestructura |
Clúster de escalado automático | ||
| Instancias spot | |||
| Cloudera Shared Data Experience | |||
| Lakehouse abierto con Iceberg | |||
Spark |
Gestión del ciclo de vida de los trabajos | ||
| Supervisión centralizada | |||
| Orquestación del flujo de trabajo (Airflow) | |||
| Spark streaming | |||
Desarrollo de Endpoints |
Sesiones interactivas | ||
| Conectividad IDE externa | |||
| Conector JDBC (próximamente) | |||
Opciones de despliegue de Cloudera Data Engineering
Capa de procesamiento unificada en un lakehouse de datos híbrido y abierto.
Cloudera en la nube
- Flexibilidad multinube: implementa en nubes públicas con servicios contenerizados y basados en API, sin dependencia de un proveedor y totalmente interoperables.
- Experiencia modular del desarrollador: utiliza Apache Airflow, Spark gestionado, API e IDE; acelera el desarrollo con colaboraciones iterativas.
- Escalabilidad elástica: Escala automáticamente las cargas de trabajo de Spark de forma dinámica y optimiza los costes en función del uso.
Cloudera en el entorno local
- Controle la implementación: implementa en nubes públicas con servicios contenerizados y basados en API, sin dependencia de un proveedor y totalmente interoperables.
- Experiencia lista para la nube: obtén los mismos servicios modulares y contenerizados que la nube, diseñados para ofrecer portabilidad y escalabilidad híbridas.
- Diseñado para empresas: aprovecha la rápida incorporación, el acceso externo al IDE y los controles de acceso detallados por defecto.
CLIENTES
Con la confianza de los equipos para convertir los datos híbridos en impacto empresarial.
Transporte
GEODIS
Servicios financieros
Nord/LB
Fabricación y automoción
Navistar
Conectores, integraciones y partners.
Crea pipelines sobre un ecosistema de datos abierto e interoperable. Integra con los principales motores, proveedores de nube y herramientas en toda la pila de datos moderna.
Procesamiento de datos
Data lakes y warehouses
Orquestación de datos
Incorporación de streaming
Motor NoSQL
Data lakes y warehouses
Proveedor de servicios en la nube
Proveedor de servicios en la nube
Proveedor de servicios en la nube
Proveedor de servicios en la nube
Orquestación de contenedores
Data Warehouse
Participe
Da el siguiente paso
Sumérgete en los detalles y explora las potentes capacidades de Cloudera Data Engineering.
Recorrido por el producto Data Engineering
Conoce desde dentro Cloudera Engineering en una visita guiada por el producto.
Documentación de ingeniería de datos
Sumérgete en los detalles sobre cómo empezar a trabajar con Cloudera Data Engineering.
Explora más productos
Analiza grandes cantidades de datos para miles de usuarios simultáneos sin comprometer la velocidad, el coste ni la seguridad.
Tome decisiones inteligentes con una plataforma flexible que procesa cualquier dato, en cualquier lugar, para obtener información que le permita tomar decisiones y una IA fiable.
Acelera la toma de decisiones basada en datos desde la investigación hasta la producción con una plataforma segura, escalable y abierta para la IA empresarial
Recopila y transfiere tus datos desde cualquier fuente a cualquier destino de forma sencilla, segura, escalable y rentable.