¿Cuál es tu retorno de la inteligencia? Pasar de los peajes de tokens públicos a una economía de la IA predecible
La economía basada en tokens se está topando con el muro de la realidad económica. Ya se trate de una factura accidental por valor de 500 millones de dólares por el uso de tokens [Axios] o de agotar el presupuesto anual destinado a tokens en cuatro meses [TechCrunch], los equipos financieros están aplicando discretamente controles de costes más estrictos tras haber sufrido las consecuencias de facturas impredecibles relacionadas con la IA.
Aunque la innovación en hardware superó la ley de Moore durante más de una década, nuestros hábitos recientes de consumo de IA crecieron más rápido. Los volúmenes masivos de tokens necesarios para los modelos de «razonamiento» o «pensamiento» superaron las ganancias en computación. Aquí se pone de manifiesto la paradoja de Jevons: a medida que la potencia de cálculo se vuelve más eficiente, simplemente encontramos formas de consumirla de manera exponencial; y el consumo de tokens se considera erróneamente como un indicador de innovación. El verdadero reto consiste en optimizar el rendimiento de la inteligencia ajustando cuidadosamente dónde y cómo ejecutar los modelos actuales, que consumen tantos recursos informáticos, de modo que cada token gastado genere un resultado empresarial claro.
Por qué el control de costes y la eficiencia son fundamentales
El control de los costes relacionados con la inteligencia es fundamental para mantener la competitividad a medida que las capacidades de IA se convierten en un producto básico. Para controlar los costes, una empresa debe ser dueña de su estructura operativa (la infraestructura subyacente, los modelos y los datos), ya se encuentre en un centro de datos o en una nube virtual privada. La propiedad de la infraestructura cambia la unidad de facturación, pasando de tarifas variables por token a una capacidad de computación predecible. El alojamiento propio permite a las empresas vincular modelos de lenguaje de gran tamaño (LLM) a sistemas de datos deterministas donde los costes y los flujos de trabajo son totalmente predecibles a medida que aumenta la escala, y estables para tareas repetitivas.
La propiedad del modelo es igualmente crítica. Los laboratorios comerciales se enfrentan a la presión de optimizar los puntos de conexión de los consumidores, pero depender de estos puntos de conexión cambiantes introduce imprevisibilidad empresarial. Las actualizaciones de proveedores externos pueden arruinar la lógica empresarial, y la retirada de modelos obliga a destinar recursos excesivos a volver a probar los pipelines o a pagar tarifas de mercado no subvencionadas. El entrenamiento o el ajuste fino en plataformas en la nube de terceros limita el acceso a tu propiedad intelectual si no puedes exportar los pesos y los adaptadores ajustados. Necesitas flexibilidad para migrar los activos en caso de que los precios del proveedor aumenten o el rendimiento disminuya. El movimiento de conjuntos de datos masivos también conlleva costes de transferencia de datos y complica los marcos de gobierno bajo precios variables en la nube. Mantener el control sobre tu entorno y la capa de inferencia es una necesidad estratégica para proteger tu balance.
La propiedad otorga la libertad de optimizar qué se ejecuta y dónde. Las empresas pueden dirigir la automatización cotidiana a modelos de lenguaje pequeños (SLM) optimizados, mientras reservan la computación premium para solicitudes de razonamiento complejo con LLM. Tú controlas las actualizaciones de las versiones, ajustas las ubicaciones y mantienes a salvo de los modelos públicos las indicaciones y los datos propios. Esto cobra mayor importancia en la capa de inferencia, que consume la mayor parte de la carga computacional a lo largo de la vida útil de un modelo de IA generativa y constituye el principal factor de coste para las cargas de trabajo en producción que ejecutan chatbots o flujos de trabajo agénticos a largo plazo. Cloudera proporciona un marco de trabajo integral que cubre todo el ciclo de vida de la IA empresarial, desde la ingesta y el procesamiento de datos hasta el entrenamiento y la entrega de modelos. El uso de una plataforma integral elimina los inconvenientes derivados de la fragmentación propia de las configuraciones empresariales con múltiples proveedores, y el servicio Cloudera AI Inference ofrece la máxima ventaja competitiva.
¿IA eficiente, hoy?
A nivel individual, calcular un retorno de la inteligencia preciso para el uso de LLM resulta difícil. La elección individual tiende a ser subjetiva y altamente dependiente del contexto, y consiste principalmente en consultas de investigación puntuales, pares de preguntas y respuestas ad hoc o un prototipo basado en impresiones. Por el contrario, los flujos de trabajo de datos empresariales repetibles están altamente estructurados, con tareas bien definidas y resultados esperados. Los pipelines no requieren modelos generalistas masivos; los modelos más pequeños y rápidos ofrecen una menor latencia y un mayor rendimiento, al tiempo que maximizan la eficiencia del hardware. Cloudera evalúa estos aspectos económicos a través de la IA privada, garantizando la privacidad mediante el gobierno de la plataforma y manteniendo la propiedad de los datos y los puntos finales de los modelos.
Cuando una empresa gestiona cargas de trabajo de producción de gran volumen (como la ejecución a gran escala de modelos de vanguardia con 70 000 millones de parámetros), el coste total de propiedad acumulado se aleja rápidamente de las API de tokens de la nube pública. Basándose en evaluaciones de entornos empresariales de alta utilización, el despliegue de la inferencia en una infraestructura privada ofrece una clara ventaja de costes frente al pago de tarifas de tokens a terceros una vez que una empresa supera un determinado volumen de carga de trabajo.
Para ilustrar cómo funcionan estos aspectos económicos en la práctica, considere un copiloto de gestión patrimonial agéntico que ejecuta flujos de trabajo de varios pasos y a largo plazo, como la preparación de reuniones, la verificación KYC, el reequilibrio de carteras y las actualizaciones de CRM. Un solo gestor puede utilizar fácilmente más de 70 millones de tokens al mes. A escala, ejecutar este asistente a través de API públicas es más de 4 veces más caro que implementar una inferencia de IA privada.
Ten en cuenta que estas son estimaciones ilustrativas centradas en un modelo, un tamaño de parámetro y una configuración de computación específicos. Las capacidades de los modelos cambian rápidamente y los modelos abiertos más pequeños y especializados superan con frecuencia a los motores generalistas masivos de ayer en el transcurso de unos pocos meses. Los ahorros variarán según la complejidad de su razonamiento, las proporciones de entrada a salida de tokens y la configuración del hardware subyacente.
Sin embargo, la tesis financiera sigue siendo la misma: para una automatización empresarial repetible, el modelo privado elimina la penalización impredecible que suponen las tarifas públicas por el uso de tokens, lo que permite a las empresas ampliar sus aplicaciones de IA de forma sostenible.
La era del control y la eficiencia es AHORA
El periodo de experimentación sin restricciones y de pago por uso con puntos finales de IA en la nube pública está llegando a su fin. A medida que las empresas pasan de proyectos piloto exploratorios a una fase de producción estable, los criterios de evaluación deben ir más allá de la mera precisión del modelo para incluir la previsibilidad de los aspectos económicos de la IA.
Para maximizar el rendimiento de la inteligencia, es necesario pasar de un modelo en el que se alquilan constantemente modelos de terceros o se corre el riesgo de un consumo descontrolado de tokens, a otro en el que se poseen y optimizan los activos informáticos fundamentales. Al mantener el control sobre los datos subyacentes, los modelos personalizados y la pila de inferencia, tu organización puede ampliar con facilidad los flujos de trabajo de IA sin correr el riesgo de sufrir sobrecostes impredecibles. La eficiencia operativa es la base misma necesaria para ofrecer una IA empresarial sostenible a gran escala.
Acompáñanos en la próxima edición de ClouderaNOW para descubrir cómo podemos hacer que eso sea posible para tu organización.