Hay una paradoja que veo cada vez más seguido. El costo de obtener un mismo nivel de capacidad de un modelo de IA viene bajando de forma sostenida: lo que hace dos años solo podía hacer un modelo de frontera, hoy lo resuelve un modelo chico que cuesta una fracción. Y sin embargo, muchas organizaciones ven crecer su factura de IA mes a mes, a veces más rápido que el valor que obtienen.
La reacción habitual es renegociar con el proveedor o buscar uno más barato. Casi nunca es la solución, porque el problema rara vez es el precio por token. Es la arquitectura.
Dónde se va el dinero
Cuando analizo el gasto de una solución de IA en producción, los patrones se repiten:
El modelo más grande para todo. Se eligió el modelo más capaz para la demo, y se quedó. Pero la mayoría de las tareas de un proceso real (clasificar, extraer datos, resumir, decidir entre pocas opciones) no necesitan esa capacidad.
Contexto que crece sin control. Instrucciones de sistema cada vez más largas, historial completo de la conversación, documentos enteros cuando alcanzaba con un párrafo. Cada llamada envía miles de tokens que no aportan nada.
Agentes que dan vueltas. Un agente que razona en varios pasos puede hacer decenas de llamadas al modelo para una sola tarea. Sin límites ni medición, una tarea que parecía barata termina costando como diez.
Ninguna reutilización. Las mismas preguntas, sobre los mismos datos, se resuelven una y otra vez desde cero.
Cinco decisiones de arquitectura
1. Enrutar cada tarea al modelo adecuado. Una capa de enrutamiento que mande lo simple a modelos chicos y reserve los grandes para lo que realmente los necesita suele ser la palanca de ahorro más grande. Bien diseñada, la calidad no baja.
2. Tratar el contexto como un recurso escaso. Recuperar solo lo relevante, resumir el historial y mantener las instrucciones de sistema cortas. Menos contexto también suele dar respuestas más precisas.
3. Cachear todo lo que se pueda. Respuestas a preguntas frecuentes, resultados intermedios, la parte fija de las instrucciones. Muchos proveedores ya ofrecen caché de prompts con descuentos importantes.
4. Poner límites a los agentes. Un máximo de pasos, de llamadas y de costo por tarea. Si un agente lo alcanza, tiene que escalar a una persona, no seguir intentando.
5. Medir el costo por caso de uso, no por proveedor. La pregunta útil no es cuánto gastamos en IA, sino cuánto cuesta cada reclamo resuelto, cada análisis o cada documento procesado, y cuánto vale. Sin esa métrica no hay forma de saber si una solución es rentable.
Mi opinión
Elegir un proveedor de IA es una decisión importante, pero es una decisión de compras. Controlar el costo de la IA es una decisión de arquitectura, y se toma al diseñar la solución, no cuando llega la factura.
Las organizaciones que lo entiendan van a poder llevar la IA a muchos más procesos con el mismo presupuesto. Las que no, van a terminar recortando casos de uso que podían ser rentables.
El control de costos es una parte central de cómo diseño arquitecturas de IA para mis clientes. Ver servicios.
