Descripción
¿Qué es Stream Processing?
Cloudera Stream Processing (CSP) permite a los clientes convertir los flujos de datos en productos al proporcionar funcionalidades para analizar los datos en transmisión en busca de patrones complejos y obtener información útil.
CSP se basa en Apache Flink y Kafka y ofrece una solución completa de nivel empresarial de gestión de flujos y procesamiento de estado. La combinación de Kafka como sustrato de transmisión de almacenamiento, Flink como motor central de procesamiento en transmisión, y soporte de primera clase para interfaces estándar del sector como SQL y REST permite a desarrolladores, analistas de datos y científicos de datos construir fácilmente canalizaciones de datos en transmisión híbridas que impulsan productos de datos, tableros de control, aplicaciones de business intelligence, microservicios y cuadernos de ciencia de datos en tiempo real.
Los casos de uso como la detección de fraudes, el análisis de amenazas de red, la inteligencia de fabricación, la optimización del comercio, las ofertas en tiempo real, las aprobaciones instantáneas de préstamos y más ahora son posibles moviendo los componentes de procesamiento de datos hacia el inicio del proceso para abordar estas necesidades en tiempo real.
CANALES DE DATOS EN TRANSMISIÓN HÍBRIDOS
BASADOS EN CLOUDERA STREAM PROCESSING
Casos de uso
Detección del fraude
Análisis del cliente
Supervisión del mercado
Análisis de registros
Detección de fraudes
Evite millones de dólares de pérdidas debidas al fraude financiero detectándolo de manera proactiva.
Las empresas minoristas, de servicios financieros y de otros sectores se encuentran con dificultades para proteger los datos de los clientes y evitar el fraude financiero. Las funcionalidades de Cloudera Streaming Processing pueden procesar flujos en tiempo real de transacciones de clientes, identificar patrones y crear alertas predictivas e inteligencia práctica para prevenir fraudes potenciales.
Análisis del cliente
Los análisis de cliente en tiempo real mejoran la interacción, la retención y la satisfacción.
Todas las empresas necesitan análisis en tiempo real para mejorar la interacción con el cliente pero tienen dificultades para implementarlos debido a un volumen de datos excesivo. Cloudera Stream Processing hace posibles los análisis de clientes procesando cantidades masivas de datos con latencias de menos de un segundo, a la vez que detecta interacciones con el cliente y recomienda mejores servicios en tiempo real.
Supervisión del mercado
Gestione millones de transacciones en un segundo y escale a petabytes de información financiera.
Los mercados de acciones se enfrentan a retos relacionados con la demanda de los clientes de informes en tiempo real y requisitos de SLA más rápidos. Pero para ofrecer estos servicios, es necesario procesar petabytes de datos. Cloudera Streams Messaging puede transmitir fácilmente grandes volúmenes de datos para que los mercados de acciones puedan crear rápidamente análisis en tiempo real y basados en el mercado, y cumplir SLA cada vez más exigentes.
Análisis de registros
Modernice su infraestructura de registros para obtener análisis en tiempo real.
Los datos de registro son cada vez más valiosos para las empresas. Pero las empresas de IT tienen dificultades para crear procesos efectivos de recopilación de registros, distribuir la información relevante y generar métricas clave. Las funcionalidades de Cloudera Stream Processing ayudan a incrementar el procesamiento de registros, obtener información valiosa en tiempo real en toda la empresa y reducir significativamente los costes operativos.
Funcionalidades
-
Análisis de flujos de datos en tiempo real con Apache Flink
-
Streams Messaging basado en Apache Kafka
Análisis de flujos de datos en tiempo real
Gracias a Apache Flink con SQL Stream Builder, Cloudera Streaming Analytics ofrece:
- Capacidades de procesamiento de flujo de baja latencia
- Simplifica el desarrollo al permitir a los usuarios escribir aplicaciones de transmisión con SQL y APIS estándar del sector a través de puntos finales REST
- Técnicas avanzadas de ventanas para construir analíticas sofisticadas basadas en eventos
- Soporte para modelos de nube híbrida y multinube
SQL Stream Builder (SSB) es una interfaz de usuario interactiva integral para crear trabajos de procesamiento de flujos con estado mediante SQL que se convierten en trabajos optimizados de Flink. Al utilizar SQL, puede declarar de forma sencilla expresiones que filtren, agreguen, enruten y modifiquen de otras formas los flujos de datos. SSB es una interfaz de gestión de trabajos que puede utilizar para componer y ejecutar SQL en flujos, así como para crear API de datos duraderas para los resultados.
Asegúrese de que los datos se procesen exactamente una vez en todas las situaciones, incluso durante errores y reintentos. Por ejemplo, una empresa de servicios financieros necesita utilizar el procesamiento de transmisiones para coordinar cientos de sistemas de transacciones de back-office cuando los consumidores pagan la hipoteca de su hogar.
Detecte y gestione eventos de transmisión surgidos del pedido. Por ejemplo, los servicios fraudulentos en tiempo real requieren asegurarse de que los datos se procesen en el orden correcto, aunque lleguen tarde.
Logre un rendimiento de procesamiento de flujos en memoria de uno en uno. Por ejemplo, procese solicitudes de 30 millones de usuarios activos que realizan pagos con tarjeta de crédito, transferencias y búsquedas de saldo con latencia de milisegundos.
Active eventos cuando maneje cientos de fuentes de transmisión y millones de eventos por segundo y flujo. Por ejemplo, cuando un paciente se registra en Urgencias, el sistema se comunica con sistemas externos para extraer datos específicos del paciente de cientos de fuentes para que estén disponibles cuando el paciente llega a la sala de exploración.
La transmisión de datos tiene poco valor a menos que pueda integrar, unir e integrar fácilmente esas transmisiones con otras fuentes de datos en reposo, incluidos los almacenes, las bases de datos relacionales y los lagos de datos. Configure proveedores de datos mediante conectores listos para usar o su propio conector a cualquier fuente de datos. Una vez creados los proveedores de datos, el usuario puede crear fácilmente tablas virtuales con DDL. La integración compleja entre múltiples flujos y fuentes de datos por lotes se vuelve más fácil con construcciones SQL conocidas como uniones y agregaciones.
Streams Messaging
Gracias a Apache Kafka, Cloudera Streams Messaging ofrece:
- Streams Messaging Manager para supervisar/operar clústeres
- Streams Replication Manager para implementaciones de HA/DR
- Registro de esquema para la administración centralizada de esquemas
- Kafka Connect para un movimiento de datos sencillo, captura de datos de cambios y Cruise Control para el reequilibrio y la autorreparación inteligentes
- Soporte para modelos de nube híbrida y multinube
Admite millones de mensajes por segundo con baja latencia y alto rendimiento, y escala de manera elástica y transparente sin tiempo de inactividad. Aborda un amplio rango de proyectos de datos en transmisión, permitiendo a las empresas responder a la demanda de los clientes, ofrecer mejores servicios y gestionar el riesgo de manera proactiva.
Streams Messaging Manager ofrece una interfaz centralizada que permite una visión integral del movimiento de los datos a lo largo de los clústeres de Kafka (entre productores, brokers, temas y consumidores), lo que permite trazar el linaje y el gobierno de los datos desde el edge hasta la nube. También simplifica la resolución de problemas en entornos Kafka con filtrado y ordenación inteligente.
Streams Replication Manager, basado en Mirrormaker 2, ofrece una replicación de temas de Kafka tolerante a fallos, escalable y sólida a través de clústeres, así como supervisión y métricas de replicación a nivel de clúster y de tema. Cuenta con alta disponibilidad, recuperación ante desastres, migraciones a la nube, geoproximidad y mucho más.
Schema Registry le permite gestionar, compartir y dar soporte a la evolución de todos los esquemas de productores y clientes en un repositorio de esquemas compartido que permite que las aplicaciones interactúen de manera flexible entre sí en el entorno de Kafka. Reduzca de manera segura las interrupciones debidas a la falta de correspondencia entre esquemas.
Cruise Control le permite gestionar y equilibrar las cargas en grandes instalaciones de Kafka, así como detectar y solucionar anomalías de manera inmediata. Aborde problemas difíciles como los fallos frecuentes de hardware y máquinas virtuales, la expansión o reducción de clústeres y los desvíos de cargas entre brokers.
Cloudera SDX ofrece seguridad centralizada, políticas de control, gobierno y linaje de datos en todos los componentes. Tras configurarlos una vez, se ejecutan automáticamente. Además, son independientes del proveedor, lo que le permite adoptar estrategias multinube y de nube híbrida con confianza. Admite los cuatro pilares principales de seguridad: identidad, acceso, protección de datos y visibilidad.
Procesamiento de transmisiones en la nube
Elimine la complejidad de la configuración de la nube y la infraestructura con clústeres totalmente seguros, gobernados y elásticos, que se ponen en marcha en menos de 10 minutos en AWS, Azure y GCP.
Análisis de flujos de datos en tiempo real para Data Hub
Streaming Analytics para Data Hub activa Apache Flink y SQL Stream Builder en la nube pública, lo que lleva el procesamiento de flujos de datos en tiempo real a través de SQL o código de aplicación a entornos de nube híbrida.
Streams Messaging for Data Hub
Streams Messaging para Data Hub amplía su inversión local en Apache Kafka al acelerar los clústeres de Kafka en la nube pública con un conjunto completo de capacidades de gestión empresarial que abordan el gobierno del esquema, la supervisión, la recuperación ante desastres, el reequilibrio inteligente y un control y auditoría de acceso robustos.
Haga un tour el producto Stream Processing
