Cloudera DataFlow fue nombrada líder en plataformas de datos de streaming por GigaOm

Descripción

¿Qué es Stream Processing?

Cloudera Stream Processing (CSP) permite a los clientes convertir los flujos de datos en productos al proporcionar funcionalidades para analizar los datos en transmisión en busca de patrones complejos y obtener información útil.

CSP se basa en Apache Flink y Kafka y ofrece una solución completa de nivel empresarial de gestión de flujos y procesamiento de estado. La combinación de Kafka como sustrato de transmisión de almacenamiento, Flink como motor central de procesamiento en transmisión, y soporte de primera clase para interfaces estándar del sector como SQL y REST permite a desarrolladores, analistas de datos y científicos de datos construir fácilmente canalizaciones de datos en transmisión híbridas que impulsan productos de datos, tableros de control, aplicaciones de business intelligence, microservicios y cuadernos de ciencia de datos en tiempo real.

Los casos de uso como la detección de fraudes, el análisis de amenazas de red, la inteligencia de fabricación, la optimización del comercio, las ofertas en tiempo real, las aprobaciones instantáneas de préstamos y más ahora son posibles moviendo los componentes de procesamiento de datos hacia el inicio del proceso para abordar estas necesidades en tiempo real.

CANALES DE DATOS EN TRANSMISIÓN HÍBRIDOS
BASADOS EN CLOUDERA STREAM PROCESSING

diagrama de canalizaciones de transmisión híbrida

Casos de uso

  • Detección del fraude
  • Análisis del cliente
  • Supervisión del mercado
  • Análisis de registros

Detección de fraudes


Evite millones de dólares de pérdidas debidas al fraude financiero detectándolo de manera proactiva.

Las empresas minoristas, de servicios financieros y de otros sectores se encuentran con dificultades para proteger los datos de los clientes y evitar el fraude financiero. Las funcionalidades de Cloudera Streaming Processing pueden procesar flujos en tiempo real de transacciones de clientes, identificar patrones y crear alertas predictivas e inteligencia práctica para prevenir fraudes potenciales.

PT Bank Rakyat de Indonesia usa el Big Data, la IA y el aprendizaje automático para entender mejor a los clientes

Un 40 % menos de fraudes.

Lea el caso práctico

Análisis del cliente


Los análisis de cliente en tiempo real mejoran la interacción, la retención y la satisfacción.

Todas las empresas necesitan análisis en tiempo real para mejorar la interacción con el cliente pero tienen dificultades para implementarlos debido a un volumen de datos excesivo. Cloudera Stream Processing hace posibles los análisis de clientes procesando cantidades masivas de datos con latencias de menos de un segundo, a la vez que detecta interacciones con el cliente y recomienda mejores servicios en tiempo real.

Aerolínea principal: Mejora de la experiencia del cliente con la automatización basada en datos

Ha conseguido reducir el volumen de datos en un 50 % pagando solo una vez por los flujos de datos que se transmiten.

Lea el caso práctico

Supervisión del mercado


Gestione millones de transacciones en un segundo y escale a petabytes de información financiera.

Los mercados de acciones se enfrentan a retos relacionados con la demanda de los clientes de informes en tiempo real y requisitos de SLA más rápidos. Pero para ofrecer estos servicios, es necesario procesar petabytes de datos. Cloudera Streams Messaging puede transmitir fácilmente grandes volúmenes de datos para que los mercados de acciones puedan crear rápidamente análisis en tiempo real y basados en el mercado, y cumplir SLA cada vez más exigentes.

Bolsa de Bombay: la Bolsa más rápida del mundo aprovecha los análisis en tiempo real para mejorar la gobernanza de datos y los SLA del sector

95 % de reducción en los costes operativos.

Lea el caso práctico

Análisis de registros


Modernice su infraestructura de registros para obtener análisis en tiempo real.

Los datos de registro son cada vez más valiosos para las empresas. Pero las empresas de IT tienen dificultades para crear procesos efectivos de recopilación de registros, distribuir la información relevante y generar métricas clave. Las funcionalidades de Cloudera Stream Processing ayudan a incrementar el procesamiento de registros, obtener información valiosa en tiempo real en toda la empresa y reducir significativamente los costes operativos.

Globe Telecom: acercamos el estilo de vida digital a los clientes móviles con un entorno de análisis moderno

Gestión de un volumen de datos móviles de 600 PB.

Lea el caso práctico

Funcionalidades

  • Análisis de flujos de datos en tiempo real con Apache Flink
  • Streams Messaging basado en Apache Kafka

Análisis de flujos de datos en tiempo real

Gracias a Apache Flink con SQL Stream Builder, Cloudera Streaming Analytics ofrece:

  • Capacidades de procesamiento de flujo de baja latencia 
  • Simplifica el desarrollo al permitir a los usuarios escribir aplicaciones de transmisión con SQL y APIS estándar del sector a través de puntos finales REST
  • Técnicas avanzadas de ventanas para construir analíticas sofisticadas basadas en eventos
  • Soporte para modelos de nube híbrida y multinube

Características principales

SQL Stream Builder (SSB) es una interfaz de usuario interactiva integral para crear trabajos de procesamiento de flujos con estado mediante SQL que se convierten en trabajos optimizados de Flink. Al utilizar SQL, puede declarar de forma sencilla expresiones que filtren, agreguen, enruten y modifiquen de otras formas los flujos de datos. SSB es una interfaz de gestión de trabajos que puede utilizar para componer y ejecutar SQL en flujos, así como para crear API de datos duraderas para los resultados.

Asegúrese de que los datos se procesen exactamente una vez en todas las situaciones, incluso durante errores y reintentos. Por ejemplo, una empresa de servicios financieros necesita utilizar el procesamiento de transmisiones para coordinar cientos de sistemas de transacciones de back-office cuando los consumidores pagan la hipoteca de su hogar.

Detecte y gestione eventos de transmisión surgidos del pedido. Por ejemplo, los servicios fraudulentos en tiempo real requieren asegurarse de que los datos se procesen en el orden correcto, aunque lleguen tarde.

Logre un rendimiento de procesamiento de flujos en memoria de uno en uno. Por ejemplo, procese solicitudes de 30 millones de usuarios activos que realizan pagos con tarjeta de crédito, transferencias y búsquedas de saldo con latencia de milisegundos.

Active eventos cuando maneje cientos de fuentes de transmisión y millones de eventos por segundo y flujo. Por ejemplo, cuando un paciente se registra en Urgencias, el sistema se comunica con sistemas externos para extraer datos específicos del paciente de cientos de fuentes para que estén disponibles cuando el paciente llega a la sala de exploración.

La transmisión de datos tiene poco valor a menos que pueda integrar, unir e integrar fácilmente esas transmisiones con otras fuentes de datos en reposo, incluidos los almacenes, las bases de datos relacionales y los lagos de datos. Configure proveedores de datos mediante conectores listos para usar o su propio conector a cualquier fuente de datos. Una vez creados los proveedores de datos, el usuario puede crear fácilmente tablas virtuales con DDL. La integración compleja entre múltiples flujos y fuentes de datos por lotes se vuelve más fácil con construcciones SQL conocidas como uniones y agregaciones.

Streams Messaging

Gracias a Apache Kafka, Cloudera Streams Messaging ofrece:

  • Streams Messaging Manager para supervisar/operar clústeres
  • Streams Replication Manager para implementaciones de HA/DR
  • Registro de esquema para la administración centralizada de esquemas
  • Kafka Connect para un movimiento de datos sencillo, captura de datos de cambios y Cruise Control para el reequilibrio y la autorreparación inteligentes
  • Soporte para modelos de nube híbrida y multinube

Características principales

Admite millones de mensajes por segundo con baja latencia y alto rendimiento, y escala de manera elástica y transparente sin tiempo de inactividad. Aborda un amplio rango de proyectos de datos en transmisión, permitiendo a las empresas responder a la demanda de los clientes, ofrecer mejores servicios y gestionar el riesgo de manera proactiva.

Streams Messaging Manager ofrece una interfaz centralizada que permite una visión integral del movimiento de los datos a lo largo de los clústeres de Kafka (entre productores, brokers, temas y consumidores), lo que permite trazar el linaje y el gobierno de los datos desde el edge hasta la nube. También simplifica la resolución de problemas en entornos Kafka con filtrado y ordenación inteligente.

Streams Replication Manager, basado en Mirrormaker 2, ofrece una replicación de temas de Kafka tolerante a fallos, escalable y sólida a través de clústeres, así como supervisión y métricas de replicación a nivel de clúster y de tema. Cuenta con alta disponibilidad, recuperación ante desastres, migraciones a la nube, geoproximidad y mucho más.

Schema Registry le permite gestionar, compartir y dar soporte a la evolución de todos los esquemas de productores y clientes en un repositorio de esquemas compartido que permite que las aplicaciones interactúen de manera flexible entre sí en el entorno de Kafka. Reduzca de manera segura las interrupciones debidas a la falta de correspondencia entre esquemas.

Cruise Control le permite gestionar y equilibrar las cargas en grandes instalaciones de Kafka, así como detectar y solucionar anomalías de manera inmediata. Aborde problemas difíciles como los fallos frecuentes de hardware y máquinas virtuales, la expansión o reducción de clústeres y los desvíos de cargas entre brokers.

Cloudera SDX ofrece seguridad centralizada, políticas de control, gobierno y linaje de datos en todos los componentes. Tras configurarlos una vez, se ejecutan automáticamente. Además, son independientes del proveedor, lo que le permite adoptar estrategias multinube y de nube híbrida con confianza. Admite los cuatro pilares principales de seguridad: identidad, acceso, protección de datos y visibilidad.

Procesamiento de transmisiones en la nube


Elimine la complejidad de la configuración de la nube y la infraestructura con clústeres totalmente seguros, gobernados y elásticos, que se ponen en marcha en menos de 10 minutos en AWS, Azure y GCP.

Análisis de flujos de datos en tiempo real para Data Hub

Streaming Analytics para Data Hub activa Apache Flink y SQL Stream Builder en la nube pública, lo que lleva el procesamiento de flujos de datos en tiempo real a través de SQL o código de aplicación a entornos de nube híbrida. 

Streams Messaging for Data Hub

Streams Messaging para Data Hub amplía su inversión local en Apache Kafka al acelerar los clústeres de Kafka en la nube pública con un conjunto completo de capacidades de gestión empresarial que abordan el gobierno del esquema, la supervisión, la recuperación ante desastres, el reequilibrio inteligente y un control y auditoría de acceso robustos.

Haga un tour el producto Stream Processing

 

Cloudera Stream Processing Community Edition


CSP Community Edition facilita el desarrollo de procesadores de transmisión y se puede hacer directamente desde su escritorio o desde cualquier otro nodo de desarrollo.


Los analistas, científicos de datos y desarrolladores ahora pueden evaluar nuevas características, desarrollar procesadores de flujos basados en SQL localmente y desarrollar Kafka Consumers/Producers y Kafka Connect Connectors, todo ello localmente antes de pasar a la producción.


Póngase en marcha en 5 minutos con Stream Processing Community Edition

Whitepaper

Cloudera ofrece hoy el mejor ecosistema de Kafka

Datasheet

Ficha técnica de Stream Processing

Whitepaper

Gestione, supervise y replique Apache Kafka con Cloudera Data Platform

Webinar

Cómo ejecutar flujos de NiFi en Kafka KConnect

Formación, asistencia técnica y servicios de primera clase

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.