Cloudera Data Engineering
Pipelines de nivel empresarial para el desarrollo rápido e iterativo de análisis e IA.
Descripción
Optimice y operativice las canalizaciones de datos de manera segura a cualquier escala.
Cloudera Data Engineering es el único servicio nativo de la nube creado específicamente para los equipos de ingeniería de datos de las empresas. Basado en Apache Spark, Data Engineering es un conjunto de herramientas de ingeniería de datos todo incluido que permite la automatización de la orquestación con Apache Airflow, la monitorización avanzada de pipelines, la resolución visual de problemas y herramientas de gestión integrales para racionalizar los procesos ETL en todos los equipos de análisis empresariales.
Data Engineering está totalmente integrado con Cloudera, lo que permite la visibilidad y la seguridad de principio a fin con SDX, así como integraciones fluidas con servicios de datos como Cloudera Data Warehouse y Cloudera AI (antes Cloudera Machine Learning). Data Engineering potencia flujos de trabajo de ingeniería de datos coherentes, repetibles y automatizados en una plataforma de nube híbrida en cualquier lugar.
Casos de uso de Cloudera Data Engineering
- Automatice las canalizaciones de datos en todas partes
- Obtenga visibilidad y control de ETL
- Mantenga la integridad de los datos en todo momento
Automatice las canalizaciones de datos en todas partes
Entrega de forma segura conjuntos de datos de calidad a Cloudera Data Warehouse, Cloudera AI o cualquier otra herramienta de análisis.
La ingeniería de datos optimiza las canalizaciones de datos, desde los equipos de análisis hasta el aprendizaje automático, los almacenes de datos y más. Acelere la obtención de valor organizando y automatizando las canalizaciones para ofrecer conjuntos de datos seleccionados y de calidad en cualquier parte de manera segura y transparente.
Obtenga visibilidad y control de ETL
Gestione el ciclo de vida de sus datos de manera integral y transparente.
Gestionar el ciclo de vida de los datos y controlar los costes se vuelve cada vez más complejo cuando se intenta operativizar las canalizaciones de datos en toda la empresa y a escala.
Data Engineering ofrece un conjunto de funcionalidades de control operativo y visibilidad para planificar la capacidad, automatizar las canalizaciones, capturar el linaje automáticamente y solucionar problemas en diferentes casos de uso empresariales.
Mantenga la integridad de los datos en todo momento
Visibilidad completa de la canalización de los datos para proteger su negocio.
A medida que la cantidad y complejidad de los datos se incrementan, garantizar la precisión y la fidelidad continuas para escalar cargas de trabajo analíticas en toda la empresa puede ser complicado.
Data Engineering ofrece supervisión nativa del recorrido de los datos y alertas para la detección temprana de problemas, así como resolución visual de problemas para solucionarlos rápidamente y evitar que afecten a su negocio.
Características principales de Cloudera Data Engineering
Organice flujos de trabajo de transformación de datos complejos respaldados por Apache Airflow, con cientos de operadores, para cumplir los requisitos de análisis esenciales.
Data Engineering es una solución contenedorizada, escalable y portable, con entornos de carga de trabajo aislados y controles, lo que permite gestionar los procesos de manera segura con computación elástica bajo demanda para cumplir los SLA empresariales de manera rentable.
Visualice las métricas de rendimiento incluyendo CPU, memoria y E/S en todas las fases de sus tareas de Spark para localizar cuellos de botella y encontrar la aguja en el pajar cuando se enfrente a problemas.
Aproveche una interfaz de gestión de tareas enriquecida con API CLI y REST para automatizar e integrarse fácilmente con flujos de trabajo existentes, como canalizaciones de CI/CD y herramientas de terceros.
Data Engineering ofrece un servicio de Spark en Kubernetes completamente integrado que automatiza y optimiza la gestión de artefactos, la seguridad y la programación de recursos, y aprovecha Apache Yunikorn para ofrecer programación FIFO y GANG.
Los administradores de la plataforma pueden gestionar el acceso y la seguridad desde una interfaz centralizada y proporcionar cargas de trabajo nuevas con rapidez, al tiempo que supervisan fácilmente la capacidad y visualizan la utilización de recursos a lo largo del tiempo. SDX también permite hacer un seguimiento completo del ciclo de vida para saber de dónde vienen los datos y a dónde van.
¿Necesita analizarlo en detalle?
Experimenta Cloudera Data Engineering por ti mismo
