Cloudera SQL Stream Builder es una interfaz de usuario interactiva completa para crear trabajos de procesamiento de flujos con estado mediante SQL que se convierten en trabajos Flink optimizados. Al utilizar SQL, puede declarar de forma sencilla expresiones que filtren, agreguen, enruten y modifiquen de otras formas los flujos de datos. SQL Stream Builder es una interfaz de gestión de trabajos que puede utilizar para componer y ejecutar SQL en flujos, así como para crear API de datos duraderas para los resultados.

Asegúrese de que los datos se procesen exactamente una vez en todas las situaciones, incluso durante errores y reintentos. Por ejemplo, una empresa de servicios financieros necesita utilizar el procesamiento de transmisiones para coordinar cientos de sistemas de transacciones de back-office cuando los consumidores pagan la hipoteca de su hogar.

Detecte y gestione eventos de transmisión surgidos del pedido. Por ejemplo, los servicios fraudulentos en tiempo real requieren asegurarse de que los datos se procesen en el orden correcto, aunque lleguen tarde.

Logre un rendimiento de procesamiento de flujos en memoria de uno en uno. Por ejemplo, procese solicitudes de 30 millones de usuarios activos que realizan pagos con tarjeta de crédito, transferencias y búsquedas de saldo con latencia de milisegundos.

Active eventos cuando maneje cientos de fuentes de transmisión y millones de eventos por segundo y flujo. Por ejemplo, cuando un paciente se registra en Urgencias, el sistema se comunica con sistemas externos para extraer datos específicos del paciente de cientos de fuentes para que estén disponibles cuando el paciente llega a la sala de exploración.

La transmisión de datos tiene poco valor a menos que pueda integrar, unir e integrar fácilmente esas transmisiones con otras fuentes de datos en reposo, incluidos los almacenes, las bases de datos relacionales y los lagos de datos. Configure proveedores de datos mediante conectores listos para usar o su propio conector a cualquier fuente de datos. Una vez creados los proveedores de datos, el usuario puede crear fácilmente tablas virtuales con DDL. La integración compleja entre múltiples flujos y fuentes de datos por lotes se vuelve más fácil con construcciones SQL conocidas como uniones y agregaciones.

Admite millones de mensajes por segundo con baja latencia y alto rendimiento, y escala de manera elástica y transparente sin tiempo de inactividad. Aborda un amplio rango de proyectos de datos en transmisión, permitiendo a las empresas responder a la demanda de los clientes, ofrecer mejores servicios y gestionar el riesgo de manera proactiva.

Streams Messaging Manager ofrece una interfaz centralizada que permite una visión integral del movimiento de los datos a lo largo de los clústeres de Kafka (entre productores, brokers, temas y consumidores), lo que permite trazar el linaje y el gobierno de los datos desde el edge hasta la nube. También simplifica la resolución de problemas en entornos Kafka con filtrado y ordenación inteligente.

Streams Replication Manager, basado en Mirrormaker 2, ofrece una replicación de temas de Kafka tolerante a fallos, escalable y sólida a través de clústeres, así como supervisión y métricas de replicación a nivel de clúster y de tema. Cuenta con alta disponibilidad, recuperación ante desastres, migraciones a la nube, geoproximidad y mucho más.

Schema Registry le permite gestionar, compartir y dar soporte a la evolución de todos los esquemas de productores y clientes en un repositorio de esquemas compartido que permite que las aplicaciones interactúen de manera flexible entre sí en el entorno de Kafka. Reduzca de manera segura las interrupciones debidas a la falta de correspondencia entre esquemas.

Cruise Control le permite gestionar y equilibrar las cargas en grandes instalaciones de Kafka, así como detectar y solucionar anomalías de manera inmediata. Aborde problemas difíciles como los fallos frecuentes de hardware y máquinas virtuales, la expansión o reducción de clústeres y los desvíos de cargas entre brokers.

Cloudera SDX ofrece seguridad centralizada, políticas de control, gobierno y linaje de datos en todos los componentes. Tras configurarlos una vez, se ejecutan automáticamente. Además, son independientes del proveedor, lo que te permite adoptar estrategias multinube y de nube híbrida con confianza. Respalda los cuatro pilares principales de la seguridad: identidad, acceso, protección de datos y visibilidad.