El cuello de botella de los datos documentales en la IA empresarial
Aunque los datos no estructurados representan aproximadamente el 80 % del total de datos empresariales, están muy infrautilizados en el análisis de datos y en los casos de uso de IA. Las empresas se enfrentan a una explosión de archivos PDF complejos y registros escaneados que las herramientas tradicionales de reconocimiento óptico de caracteres (OCR) y los modelos de lenguaje de gran tamaño (LLM) de uso general tienen dificultades para procesar con precisión a gran escala. El enfoque heredado se basa en gran medida en un OCR frágil y basado en plantillas que falla ante la variabilidad de los documentos, la escritura manuscrita o los escaneos de mala calidad, lo que provoca importantes cuellos de botella en la revisión manual. Por otro lado, los LLM generales suelen perder la estructura de los documentos, carecen de citas y suponen un riesgo real de generar valores erróneos. Además, los datos críticos siguen atrapados en silos arquitectónicos caracterizados por modelos de seguridad fragmentados y poco precisos.
Estos desafíos impiden integrar datos de documentos en casos de uso de IA debido a las altas tasas de error, que pueden entrañar riesgos normativos (p. ej., que una lectura errónea del límite de cobertura en un expediente de siniestro genere responsabilidad legal), y a los elevados costes unitarios de extracción y procesamiento de documentos, que limitan la adopción de datos documentales de gran volumen en casos de uso de IA/ML. Además, las revisiones manuales, los silos de datos dispares con esquemas heterogéneos y los distintos mecanismos de gobierno de la seguridad retrasan la disponibilidad de esos datos para casos de uso de IA/ML, debido a las numerosas canalizaciones ETL necesarias para estandarizar los resultados extraídos según un esquema común y convertirlos en características.
La colaboración entre Cloudera y Pulse: una arquitectura de referencia para la IA documental a escala
Cloudera y Pulse están colaborando para ofrecer extracción y procesamiento de documentos a escala, superando las limitaciones de los enfoques heredados:
Pulse sustituye las múltiples canalizaciones de extracción de datos para archivos PDF complejos, notas manuscritas, tablas y gráficos por una única canalización de varias etapas y con múltiples modelos que ofrece datos muy precisos y listos para una auditoría. Cada paso de la extracción de datos lo lleva a cabo un modelo creado específicamente para esa tarea, y el “Pulse Brain” es capaz de entender el contexto semántico y el diseño del documento, analizando los resultados para detectar errores antes de generar la salida.
Cloudera ofrece un data lakehouse centralizado y abierto, junto con una plataforma de IA empresarial que integra la transmisión de datos, la ingeniería de datos, el almacenamiento de datos y el ML y la IA generativa a gran escala, con una capa unificada de seguridad y gobierno a través de SDX. Este marco cuenta con características de controles de acceso a los datos basados en atributos, linaje y enriquecimiento y catalogación activos de metadatos.
Esta combinación crea una arquitectura tecnológica unificada que integra datos de documentos estructurados y no estructurados (procesados a través de Pulse) bajo un marco común de seguridad y gobierno, utilizando una única vista global en diferentes entornos de nube pública y privada. La arquitectura permite estandarizar los flujos de trabajo de ingeniería de características en fuentes de datos dispares y diversas, así como combinar datos estructurados y de documentos en casos de uso de IA/ML. Además, ofrece una capa unificada de intercambio de datos que pone a disposición de herramientas externas, tanto en entornos locales como en la nube, tanto los datos estructurados como los de documentos.
Además, la propuesta de valor conjunta minimiza el tiempo necesario para integrar datos de documentos en casos de uso de IA al eliminar las correcciones manuales y las tareas de control de calidad que normalmente llevarían hasta tres días, reduciendo el plazo de extracción a menos de tres horas:
Cloudera ofrece mejoras en las cargas de trabajo de ingeniería de datos e inferencia de LLM de hasta 20x y 36x, respectivamente. De manera similar, Pulse emplea varias optimizaciones de GPU y CPU para minimizar el coste unitario de extracción, aumentando la utilización de la GPU en un 30 %.
Diseñado para datos confidenciales y sectores regulados
En sectores regulados como los servicios financieros y la sanidad, el coste de un error de extracción inadvertido se mide en millones de dólares o en exposición normativa, y no como un simple problema de calidad. Por ejemplo, una coma decimal mal situada o un punto interpretado como una coma podrían dar lugar a errores significativos en la verificación de AML/KYC y, como resultado, a multas regulatorias cuantiosas.
La solución de Cloudera y Pulse está diseñada específicamente para datos confidenciales y sectores regulados; se puede implementar íntegramente en la nube privada virtual (VPC) del cliente sin salida pública para la extracción de documentos ni análisis avanzados.
Pulse ofrece un enfoque de nivel de producción para la verificabilidad de los datos, asegurándose de que cada campo extraído se remita directamente a su ubicación exacta en la página de origen, conservando el contexto y las relaciones jerárquicas que garantizan una extracción de documentos casi impecable. Específicamente para los datos de hojas de cálculo, puede capturar el diseño, las convenciones de formato y los matices específicos del ámbito financiero para superar las limitaciones de los enfoques heredados (p. ej., omitir columnas ocultas, gestionar datos jerárquicos, etc.).
El data lakehouse abierto de Cloudera ofrece un mecanismo granular de seguridad de datos a través de SDX que satisface estrictos requisitos normativos, como el cumplimiento de GxP en las ciencias de la vida. Cloudera Data Lineage rastrea relaciones estructurales profundas de los datos, desde el documento escaneado sin procesar hasta las entradas de la base de datos vectorial, y crea registros de seguimiento preparados para el cumplimiento normativo.
Al actuar como multiplicador de fuerza para las iniciativas de IA
Esta propuesta de valor conjunta es especialmente relevante para las iniciativas de IA, ya que, a medida que las capacidades de los modelos de IA se han convertido en un producto muy común, el verdadero factor diferenciador competitivo para una empresa ha cambiado drásticamente, pasando del simple acceso a los modelos a los datos propios. Cloudera y Pulse ayudan a las empresas a desbloquear de forma segura esta enorme ventaja competitiva al convertir los repositorios de documentos no estructurados en activos impecables y útiles. Juntos, Cloudera y Pulse mejoran radicalmente la precisión semántica de las búsquedas vectoriales en Cloudera RAG Studio, convirtiendo bases de datos de documentos propios y altamente confidenciales en una base completa para la business intelligence segura y las canalizaciones agénticas avanzadas.
Generación de valor de negocio a escala
En las implementaciones empresariales, Pulse ha ofrecido resultados sin precedentes en comparación con los enfoques heredados de extracción de documentos.
En el caso de una importante empresa de suministro eléctrico, se convirtieron 1,2 millones de documentos de campo escritos a mano, logrando una precisión del 97,5 % en datos que ningún sistema había podido digitalizar con exactitud durante décadas. En el caso de una importante correduría de seguros, fue el primer sistema que ofreció de forma constante una precisión del 99 % en los datos de documentos procesados por varios equipos en el extranjero, reduciendo en un 76 % el tiempo necesario para desarrollar un resultado estructurado, completo y auditable.
Más información sobre las capacidades de Cloudera y la plataforma Pulse.
