Cloudera potencia su IA privada con Cloudera AI Inference, AI-Q NVIDIA Blueprint y NVIDIA NIM
Mientras hablamos con nuestros clientes sobre sus objetivos para la IA, un problema común que escuchamos es que sus planes e implementaciones a veces se estancan debido a preocupaciones sobre la privacidad. Quieren utilizar IA en todos sus datos corporativos, ya que esa es la manera en la que sus empleados y clientes obtendrán los resultados y respuestas más precisos, pero se dan cuenta de que no pueden enviar sus datos a un punto final público para un modelo de lenguaje de gran tamaño (LLM) de código cerrado porque, 1) hay demasiados datos y 2) sus datos ya no serían privados.
Para abordar estas preocupaciones, Cloudera ha comenzado a promover el concepto de IA privada, lo que permitiría a estos clientes obtener todos los beneficios que la IA ofrece y mantener sus datos propietarios seguros y protegidos.
NVIDIA está enfrentando el mismo desafío, pero a un nivel mucho más alto y más amplio: los estados nación. Los gobiernos se están dando cuenta de que no beneficia a sus países utilizar la IA en otro país, por lo que están trabajando para crear la infraestructura necesaria para mantener sus datos y su IA dentro de sus propias fronteras. Luego pueden controlar con qué otros países o entidades comparten sus datos o resultados de IA.
En la conferencia GTC de París hoy, NVIDIA proporcionó los componentes básicos para IA soberana para apoyar a los gobiernos en sus esfuerzos. Esta iniciativa se alinea bien con el enfoque de Cloudera en permitir a sus clientes implementar sus propias plataformas de IA privadas.
NVIDIA hizo otros dos anuncios que son de particular interés para Cloudera, y en este blog profundizaremos en AI-Q NVIDIA Blueprint for Enterprise Research y NVIDIA NIM y lo que esto significa para nuestros clientes.
Blueprint de AI-Q de NVIDIA con Cloudera AI
La introducción de NVIDIA del modelo AI-Q para la investigación empresarial proporciona a Cloudera AI más capacidades para apoyar las complejas necesidades de IA agéntica de nuestros clientes.
Cloudera AI Inference puede alojar todos los microservicios de inferencia de NVIDIA NeMo Retriever y LLM que forman parte del AI-Q NVIDIA Blueprint, incluidos los modelos de razonamiento de NVIDIA Llama Nemotron. Al combinar la sólida privacidad y seguridad que ofrece la plataforma de IA de Cloudera para los endpoints del modelo con el potente NVIDIA Agent Intelligence toolkit, puede llevar sus aplicaciones empresariales agénticas al siguiente nivel.
Ventajas de usar AI-Q NVIDIA Blueprint con Cloudera AI
Aprovechar AI-Q NVIDIA Blueprint dentro del servicio Cloudera AI Inference desbloquea un enorme potencial de IA. Esta potente combinación integra los principales modelos de razonamiento empaquetados como microservicios NVIDIA NIM y NeMo Retriever en Cloudera AI, y garantiza una conectividad perfecta entre los agentes, las herramientas y los datos mediante la total compatibilidad con el kit de herramientas de inteligencia de agentes de NVIDIA.
Esta capacidad multimarco permite a las organizaciones desarrollar aplicaciones empresariales sofisticadas de generación aumentada (RAG) con privacidad y seguridad robustas, aprovechando al máximo los avances de IA de vanguardia.
Microservicio NVIDIA NIM con la inferencia de IA de Cloudera
El contenedor NIM de NVIDIA revoluciona el rendimiento óptimo de los LLM de manera rápida y sencilla: acelera significativamente la implementación y la inferencia de LLM al seleccionar automáticamente el mejor backend de inferencia según el modelo y el hardware de la GPU, permitiendo una solución de inferencia independiente del modelo que optimiza el servicio de producción de numerosos LLM de vanguardia.
Profundizando más, el microservicio NVIDIA NIM permite a los usuarios implementar rápidamente LLMs acelerados por NVIDIA TensorRT-LLM, vLLM o SGLang para una inferencia de primer nivel en cualquier plataforma acelerada por NVIDIA. Admite modelos almacenados en los formatos Hugging Face o TensorRT-LLM, lo que permite realizar inferencias de nivel empresarial para una amplia gama de LLM. Los usuarios pueden confiar en valores predeterminados inteligentes para optimizar la latencia y el rendimiento, o ajustar el rendimiento con opciones de configuración sencillas. Como parte de NVIDIA AI Enterprise, el microservicio NVIDIA NIM recibe actualizaciones continuas de NVIDIA, asegurando la compatibilidad con una amplia gama de LLM populares.
Ventajas de usar NVIDIA NIM dentro de Cloudera AI Inference
NIM de NVIDIA proporciona a nuestros clientes más flexibilidad en cómo pueden utilizar los LLM en sus aplicaciones de IA. El servicio de inferencia de IA de Cloudera ya tiene NVIDIA NIM integrado, por lo que los clientes pueden implementar el microservicio NVIDIA NIM de manera rápida y sencilla. Los clientes obtienen los beneficios de NVIDIA NIM con la facilidad de uso, la seguridad y el soporte optimizado de una plataforma única y unificada: Cloudera.
Gracias a su integración perfecta en nuestro servicio de inferencia de IA, el microservicio NVIDIA NIM ofrece ventajas significativas para los clientes de IA de Cloudera, incluidas:
Despliegue acelerado: pon en marcha tus aplicaciones de LLM más rápido con contenedores optimizados y preconstruidos.
Rendimiento mejorado: aprovecha todo el potencial de la computación acelerada de NVIDIA para lograr inferencias de alta velocidad y reducir la latencia.
Escalabilidad: escala fácilmente tus despliegues de LLM para satisfacer las demandas de tu negocio en crecimiento.
Gestión simplificada: gestiona y supervisa tus implementaciones de LLM con la interfaz intuitiva de Cloudera
Conclusión
Juntas, Cloudera y NVIDIA capacitan a las empresas para aprovechar los últimos avances en IA de manera fácil, eficiente y rentable en todos sus datos, ya sean públicos o privados. Al simplificar el ciclo de vida de las aplicaciones de IA, desde el desarrollo hasta el despliegue, y optimizando el rendimiento, estamos ayudando a nuestros usuarios a desbloquear todo el potencial de la IA.
Asegúrese de consultar el blog de NVIDIA sobre los anuncios de GTC París y los blogs de Cloudera sobre IA, especialmente el más reciente sobre "AI in a Box", impulsado por Dell, NVIDIA y Cloudera, que ofrece a los clientes una nueva forma de implementar la IA privada de forma rápida, sencilla y con un riesgo mínimo.