Descripción
¿Qué es Stream Processing?
Cloudera Stream Processing permite a los clientes convertir los flujos en productos de datos al proporcionar capacidades para analizar los datos de flujo en busca de patrones complejos y obtener información procesable.
Stream Processing funciona con Apache Flink y Kafka y proporciona una solución completa de gestión de flujos y procesamiento de estados de nivel empresarial. La combinación de Kafka como sustrato de transmisión de almacenamiento, Flink como motor central de procesamiento en flujo y la compatibilidad de primera clase con interfaces estándar del sector como SQL y REST permite a los desarrolladores, analistas de datos y científicos de datos crear fácilmente pipelines de datos en transmisión híbridos que impulsen productos de datos en tiempo real, paneles de control, aplicaciones de business intelligence, microservicios y cuadernos de ciencia de datos.
Los casos de uso como la detección de fraudes, el análisis de amenazas de red, la inteligencia de fabricación, la optimización del comercio, las ofertas en tiempo real, las aprobaciones instantáneas de préstamos y más ahora son posibles moviendo los componentes de procesamiento de datos hacia el inicio del proceso para abordar estas necesidades en tiempo real.
PIPELINES HÍBRIDOS DE DATOS EN TRANSMISIÓN IMPULSADOS
POR STREAM PROCESSING
Casos de uso de Stream Processing
Detección del fraude
Análisis del cliente
Supervisión del mercado
Análisis de registros
Detección de fraudes
Evite millones de dólares de pérdidas debidas al fraude financiero detectándolo de manera proactiva.
Las empresas minoristas, de servicios financieros y de otros sectores se encuentran con dificultades para proteger los datos de los clientes y evitar el fraude financiero. Las funcionalidades de Cloudera Streaming Processing pueden procesar flujos en tiempo real de transacciones de clientes, identificar patrones y crear alertas predictivas e inteligencia práctica para prevenir fraudes potenciales.
Análisis del cliente
Los análisis de cliente en tiempo real mejoran la interacción, la retención y la satisfacción.
Todas las empresas necesitan análisis en tiempo real para mejorar la interacción con el cliente pero tienen dificultades para implementarlos debido a un volumen de datos excesivo. Cloudera Stream Processing hace posibles los análisis de clientes procesando cantidades masivas de datos con latencias de menos de un segundo, a la vez que detecta interacciones con el cliente y recomienda mejores servicios en tiempo real.
Supervisión del mercado
Gestione millones de transacciones en un segundo y escale a petabytes de información financiera.
Los mercados de acciones se enfrentan a retos relacionados con la demanda de los clientes de informes en tiempo real y requisitos de SLA más rápidos. Pero para ofrecer estos servicios, es necesario procesar petabytes de datos. Cloudera Streams Messaging puede transmitir fácilmente grandes volúmenes de datos para que los mercados de acciones puedan crear rápidamente análisis en tiempo real y basados en el mercado, y cumplir SLA cada vez más exigentes.
Análisis de registros
Modernice su infraestructura de registros para obtener análisis en tiempo real.
Los datos de registro son cada vez más valiosos para las empresas. Pero las empresas de IT tienen dificultades para crear procesos efectivos de recopilación de registros, distribuir la información relevante y generar métricas clave. Las funcionalidades de Cloudera Stream Processing ayudan a incrementar el procesamiento de registros, obtener información valiosa en tiempo real en toda la empresa y reducir significativamente los costes operativos.
Capacidades de Stream Processing
-
Análisis de flujos de datos en tiempo real con Apache Flink
-
Streams Messaging basado en Apache Kafka
Análisis de flujos de datos en tiempo real
Gracias a Apache Flink con SQL Stream Builder, Cloudera Streaming Analytics ofrece:
- Capacidades de procesamiento de flujo de baja latencia
- Simplifica el desarrollo al permitir a los usuarios escribir aplicaciones de transmisión con SQL y APIS estándar del sector a través de puntos finales REST
- Técnicas avanzadas de ventanas para construir analíticas sofisticadas basadas en eventos
- Soporte para modelos de nube híbrida y multinube
Cloudera SQL Stream Builder es una interfaz de usuario interactiva completa para crear trabajos de procesamiento de flujos con estado mediante SQL que se convierten en trabajos Flink optimizados. Al utilizar SQL, puede declarar de forma sencilla expresiones que filtren, agreguen, enruten y modifiquen de otras formas los flujos de datos. SQL Stream Builder es una interfaz de gestión de trabajos que puede utilizar para componer y ejecutar SQL en flujos, así como para crear API de datos duraderas para los resultados.
Asegúrese de que los datos se procesen exactamente una vez en todas las situaciones, incluso durante errores y reintentos. Por ejemplo, una empresa de servicios financieros necesita utilizar el procesamiento de transmisiones para coordinar cientos de sistemas de transacciones de back-office cuando los consumidores pagan la hipoteca de su hogar.
Detecte y gestione eventos de transmisión surgidos del pedido. Por ejemplo, los servicios fraudulentos en tiempo real requieren asegurarse de que los datos se procesen en el orden correcto, aunque lleguen tarde.
Logre un rendimiento de procesamiento de flujos en memoria de uno en uno. Por ejemplo, procese solicitudes de 30 millones de usuarios activos que realizan pagos con tarjeta de crédito, transferencias y búsquedas de saldo con latencia de milisegundos.
Active eventos cuando maneje cientos de fuentes de transmisión y millones de eventos por segundo y flujo. Por ejemplo, cuando un paciente se registra en Urgencias, el sistema se comunica con sistemas externos para extraer datos específicos del paciente de cientos de fuentes para que estén disponibles cuando el paciente llega a la sala de exploración.
La transmisión de datos tiene poco valor a menos que pueda integrar, unir e integrar fácilmente esas transmisiones con otras fuentes de datos en reposo, incluidos los almacenes, las bases de datos relacionales y los lagos de datos. Configure proveedores de datos mediante conectores listos para usar o su propio conector a cualquier fuente de datos. Una vez creados los proveedores de datos, el usuario puede crear fácilmente tablas virtuales con DDL. La integración compleja entre múltiples flujos y fuentes de datos por lotes se vuelve más fácil con construcciones SQL conocidas como uniones y agregaciones.
Streams Messaging
Gracias a Apache Kafka, Cloudera Streams Messaging ofrece:
- Streams Messaging Manager para supervisar/operar clústeres
- Streams Replication Manager para implementaciones de HA/DR
- Registro de esquema para la administración centralizada de esquemas
- Kafka Connect para un movimiento de datos sencillo, captura de datos de cambios y Cruise Control para el reequilibrio y la autorreparación inteligentes
- Soporte para modelos de nube híbrida y multinube
Admite millones de mensajes por segundo con baja latencia y alto rendimiento, y escala de manera elástica y transparente sin tiempo de inactividad. Aborda un amplio rango de proyectos de datos en transmisión, permitiendo a las empresas responder a la demanda de los clientes, ofrecer mejores servicios y gestionar el riesgo de manera proactiva.
Streams Messaging Manager ofrece una interfaz centralizada que permite una visión integral del movimiento de los datos a lo largo de los clústeres de Kafka (entre productores, brokers, temas y consumidores), lo que permite trazar el linaje y el gobierno de los datos desde el edge hasta la nube. También simplifica la resolución de problemas en entornos Kafka con filtrado y ordenación inteligente.
Streams Replication Manager, basado en Mirrormaker 2, ofrece una replicación de temas de Kafka tolerante a fallos, escalable y sólida a través de clústeres, así como supervisión y métricas de replicación a nivel de clúster y de tema. Cuenta con alta disponibilidad, recuperación ante desastres, migraciones a la nube, geoproximidad y mucho más.
Schema Registry le permite gestionar, compartir y dar soporte a la evolución de todos los esquemas de productores y clientes en un repositorio de esquemas compartido que permite que las aplicaciones interactúen de manera flexible entre sí en el entorno de Kafka. Reduzca de manera segura las interrupciones debidas a la falta de correspondencia entre esquemas.
Cruise Control le permite gestionar y equilibrar las cargas en grandes instalaciones de Kafka, así como detectar y solucionar anomalías de manera inmediata. Aborde problemas difíciles como los fallos frecuentes de hardware y máquinas virtuales, la expansión o reducción de clústeres y los desvíos de cargas entre brokers.
Cloudera SDX ofrece seguridad centralizada, políticas de control, gobierno y linaje de datos en todos los componentes. Tras configurarlos una vez, se ejecutan automáticamente. Además, son independientes del proveedor, lo que le permite adoptar estrategias multinube y de nube híbrida con confianza. Da apoyo a los cuatro grandes pilares de la seguridad: identidad, acceso, protección de datos y visibilidad.
Cualquier dato, en cualquier lugar, con opciones de implementación flexibles.
Procesamiento de transmisiones en la nube
Cloudera ofrece un conjunto completo de capacidades integradas de procesamiento de transmisiones que pueden implementarse en la nube pública para escalar de forma eficiente.
Cloudera Stream Processing se basa en los motores Apache Kafka y Apache Flink con herramientas de nivel empresarial para simplificar la implementación y la gestión.
Streams Messaging Manager amplía Apache Kafka con un conjunto de capacidades para abordar la gobernanza y la supervisión de esquemas, la recuperación ante desastres, el reequilibrio inteligente y un sólido control de acceso y auditoría.
SQL Stream Builder amplía Apache Flink con una potente consola SQL que permite a los analistas de SQL consultar datos en transmisión, así como colaborar y controlar la versión de la lógica de procesamiento para las aplicaciones posteriores.
Stream Processing en las instalaciones
Cloudera puede implementarse en las instalaciones con datos en transmisión para controlar los costes y minimizar la latencia de las canalizaciones de datos y las aplicaciones en tiempo real. Cloudera Stream Processing integra Apache Kafka y Apache Flink con las herramientas empresariales necesarias para gestionar estas implementaciones.
Cloudera Streaming: operadores de Kubernetes
Las capacidades de Cloudera Stream Processing también están disponibles como operadores de Kubernetes que se pueden implementar de forma independiente a través de los clústeres de Kubernetes existentes, lo que facilita aún más la implementación y el escalado de Kafka a la empresa. El operador de Kubernetes incluye Kafka, Cruise Control y Zookeeper, lo que permite casos de uso de streaming en Kubernetes con un sólido servicio de intermediario de mensajes, y Flink y SQL Stream Builder, que proporciona un moderno motor de procesamiento de flujos distribuidos para crear aplicaciones de streaming en tiempo real que se ejecutan de forma nativa en contenedores.
Haga un tour el producto Stream Processing
Cloudera Stream Processing Community Edition
CSP Community Edition facilita el desarrollo de procesadores de transmisión y se puede hacer directamente desde su escritorio o desde cualquier otro nodo de desarrollo.
Los analistas, científicos de datos y desarrolladores ahora pueden evaluar nuevas características, desarrollar procesadores de flujos basados en SQL localmente y desarrollar Kafka Consumers/Producers y Kafka Connect Connectors, todo ello localmente antes de pasar a la producción.
Póngase en marcha en 5 minutos con Stream Processing Community Edition
Radar GigaOm para plataformas de transmisión de datos
Cloudera ha sido nombrada líder del mercado de plataformas de datos en streaming para 2024.
¿Listo para empezar?