¿Será 2026 el año en que las empresas establecidas entiendan que el consumo de tokens como KPI no es una buena idea?
La IA viene mejorando considerablemente durante el último año. El hype sigue siendo ensordecedor y el directorio empieza a presionar cada vez más por una adopción más rápida de la IA.
Mientras lidiás con la operación diaria, se te ocurre un plan perfecto: medir la adopción contando el consumo de tokens.
Mala idea.
Igual que fue una mala idea medir las líneas de código (LOC) como indicador de la productividad de un desarrollador.
Es una mala idea tan conocida que se planteó por primera vez allá por los años 70. La Ley de Goodhart, para ser precisos.
«Cuando una medida se convierte en un objetivo, deja de ser una buena medida.»
Amazon creó «Kirorank» y Meta, «Claudeonomics». Las dos iniciativas se cerraron este año, después de darse cuenta de que la gente gastaba tokens en problemas irrelevantes, simplemente para cumplir con el juego.
Pero por más citable y claro que sea el señor Goodhart, todos caemos en esta misma trampa al menos una o dos veces.
Y veo la adopción de IA como el escenario perfecto para caer en la trampa de medir insumos (inputs) en lugar de resultados (outputs).
Esta nota busca mostrar cómo veo yo la medición de la adopción, y cuándo conviene hacer seguimiento de los insumos.
En pocas palabras, creo que solo deberías medir los insumos DESPUÉS de confirmar que las bases están sentadas. Antes de eso, te conviene más medir los resultados.
Si a Tim le llevaba 3 semanas subir una nueva funcionalidad a producción, ¿cuánto tiempo le lleva ahora que tiene IA a su disposición?
Esa es una respuesta objetiva, vinculada al resultado, que te va a dar muchísima más comprensión sobre cómo impacta la IA en tu equipo que medir tokens.
Supongamos que tu equipo tenía una velocidad de 30 puntos por sprint y, después de adoptar IA, entrega 20… esa es tu señal de que algo anda mal.
Las mismas métricas de resultado que medías antes de la IA son las que deberías usar ahora.
Porque te dan un punto de comparación directo.
Recién después de confirmar que la IA demostró ser útil para tu gente podés empezar a medir insumos.
Porque medir insumos es optimizar.
Y no deberías optimizar algo que ni siquiera sabés si vale la pena en primer lugar.
La IA es un multiplicador, tanto de lo bueno como de lo malo. DORA, de Google, tiene varios informes sobre esto, si te interesa.
Esto significa que asegurarte PRIMERO de que tu equipo se está beneficiando de tener IA es mucho más importante que asumir que todos tienen que alcanzar cierta cantidad de tokens.
Esto debería darte bastante para pensar en cuanto a la estrategia a nivel empresa. ¿Pero qué pasa a nivel individual?
Yo llevo adelante nuestras reuniones 1:1, y algo que me pregunto todo el tiempo es cómo hacer que cada persona se haga responsable sin señalar un número.
La respuesta es la misma. Medir los resultados observables.
«Pasaron 3 semanas desde que recibiste tu licencia de IA y tu tiempo hasta producción sigue igual, tu ciclo de regresión con QA es el mismo y el tiempo que dedicás a peer reviews también. ¿Qué impacto tuvo la IA en todo esto?»
Y a partir de ahí, seguís. Preguntá sin dar por sentado que la IA le va a calzar mágicamente a todo el mundo, y dejá que te cuenten cómo la estuvieron usando.
Si la respuesta es que no la estuvieron usando, esa es tu señal para presionar más.
Si la estuvieron usando, entonces quizás tengas que profundizar para entender si es un problema de proceso o simplemente un mal lote de tareas para probarla.
Sea cual sea el caso, tené en cuenta que la IA no es mágica y no va a hacer que toda tu gente sea 10 veces mejor de la noche a la mañana.
Y tené en cuenta que, al empezar, medir resultados observables es mejor que forzar insumos.
Publicado originalmente en LinkedIn.
