Nada grita "somos una empresa de IA" como medir el éxito en cuántos tokens quemamos al mes.
¿Incentivar a los ingenieros a usar IA probablemente salga mal?
Pública
19 conversaciones
33 pensamientos
413 votos positivos
61 votos negativos
0 series
Una empresa puede arruinar casi cualquier buena herramienta atándole la métrica equivocada. En el trabajo lo único que importa son los incentivos, ya sean beneficios económicos, estatus, ascenso... Los trabajadores trabajamos por incentivos. Tú y yo también. Prácticamente todo el mundo hace cosas porque le benefician a él o a los suyos. Por eso, en el trabajo, acabamos haciendo lo que nos consigue un ascenso, más dinero, más seguridad laboral... No somos los dueños de la empresa, somos un emplea
In groups
Pensamiento
Pensamiento
Nada grita "somos una empresa de IA" como medir el éxito en cuántos tokens quemamos al mes.
Contenido de la publicación
Una empresa puede arruinar casi cualquier buena herramienta atándole la métrica equivocada. En el trabajo lo único que importa son los incentivos, ya sean beneficios económicos, estatus, ascenso... Los trabajadores trabajamos por incentivos. Tú y yo también. Prácticamente todo el mundo hace cosas porque le benefician a él o a los suyos. Por eso, en el trabajo, acabamos haciendo lo que nos consigue un ascenso, más dinero, más seguridad laboral... No somos los dueños de la empresa, somos un empleado. Miramos por nosotros mismos. Eso está bien.
El uso de la IA en las empresas tecnológicas
Cuando la dirección empieza a celebrar el consumo de tokens, el volumen de prompts, el número de agentes o el uso diario de la IA, la gente optimizará la actividad de la máquina en lugar de los resultados útiles. Si tu trabajo está en riesgo porque te señalan por negarte a usar la IA, entonces... usas la IA. Mucho, sobre todo cuando a los ingenieros se les recompensa por usarla cada vez más. Eso no significa que sean irracionales. Significa que son empleados. Los empleados van detrás de lo que la dirección puede ver, especialmente cuando lo visible lleva recompensas. Ahora mismo la actividad de IA lleva muchas recompensas
Esto es simplemente corrupción de KPI con un disfraz nuevo. Las organizaciones saben en teoría que, una vez que una métrica se convierte en objetivo, deja de ser una medida limpia, y luego se olvidan de la regla en cuanto la métrica parece técnica y orientada al futuro. La IA empeora la amnesia porque la actividad de la máquina es fácil de graficar y fácil de presumir. La adopción de IA es una de ellas.
El mejor marcador es más difícil y menos halagador. Imagina un equipo de soporte que con orgullo duplica su volumen de respuestas asistidas por IA. Suena genial hasta que te das cuenta de que las escalaciones también subieron porque las respuestas de primera pasada eran superficiales y los supervisores dedicaron más tiempo a arreglarlas. Una mejor métrica no es "¿cuántas respuestas de IA generamos?". Es "¿mejoró el tiempo de primera respuesta sin que empeoraran las escalaciones, el retrabajo o la frustración del cliente?". Lo mismo aplica en ingeniería. Quemar más tokens no significa nada si el tiempo de revisión, la tasa de defectos y el riesgo de rollback empeoran todos. ¿Cuánto impacto tuvo de verdad el equipo de ingeniería, de todos modos?
Hay una objeción que vale la pena tomarse en serio. Al principio de un despliegue, las métricas de uso pueden importar. Si nadie toca la herramienta, no hay ninguna historia de adopción. Vale. Pero las métricas temporales de experimentación tienen la mala costumbre de convertirse en métricas de vanidad permanentes. Una vez que el estatus y la evaluación se atan a la actividad de IA visible, la organización empieza a fabricar actividad para alimentar el marcador.
Así es como las herramientas útiles se vuelven burocracia. Los empleados empiezan a hacer prompts cuando deberían decidir por su cuenta. Los líderes empiezan a pedir planes de agentes porque los planes de agentes parecen modernos. Los equipos optimizan la superficie de IA medible en lugar del coste, la calidad y la entrega reales. La institución simplemente ha encontrado una nueva forma de malgastar dinero mientras se felicita a sí misma.
Esto antes era un problema resuelto. La dirección solía recompensar a los ingenieros por escribir más código. Así que las bases de código acababan creciendo de forma espectacular y volviéndose frágiles e infladas. Esa métrica simplificada ya mostró que no puedes poner métricas simples de rendimiento y esperar buenos resultados. En cuanto las pones, la gente las optimiza. Y eso está bien, yo hago lo mismo.
Thoughts
-
Para mí la parte de "al principio las métricas de uso sí importan" es la única que compraría, pero con asterisco: nadie las apaga después. Vi como tres herramientas internas donde el dashboard de uso era temporal y sigue ahí dos años más tarde porque a alguien le quedó lindo en la review. Y bueno, capaz me equivoco, pero apostaría a que el de ustedes también sigue prendido.
-
media idea nomás: capaz el problema no es la IA, es que siempre vamos a medir lo que se grafica fácil. si mañana cambian a medir "impacto", en dos trimestres alguien ya descubrió cómo inflar el impacto también. no sé, no es que tenga la solución, nomás se me hace que el disfraz cambia y el truco no.
-
Nada grita "somos una empresa de IA" como medir el éxito en cuántos tokens quemamos al mes.
-
Tengo anotada la frase de un director casi palabra por palabra: "queremos que el uso de IA sea parte de cómo evaluamos el impacto este trimestre". La masacre de ratas de Hanói pero en una junta de alineación. Desde esa semana la gente empezó a hacer prompts en cosas que antes resolvía en treinta segundos, solo para que quedara registro. El marcador subió, la decisión la siguen tomando igual de mal.
-
El párrafo del soporte que duplica las respuestas asistidas y al mismo tiempo sube las escalaciones es exactamente lo que veo en ingeniería. La métrica de "adopción" es limpia de graficar porque no carga ninguna consecuencia. Yo mido distinto: cuántos incidentes en producción nacieron de un PR que pasó revisión rápido porque venía con buena prosa generada. El costo no desaparece, se muda de turno. Casi siempre cae en el on-call de las 2 a.m.
-
Donde no estoy del todo de acuerdo es en tratarlo como nuevo. Esto es la misma trampa de las líneas de código pero con mejor relaciones públicas. Lo que sí cambió es quién paga la limpieza. Antes el código inflado lo arreglábamos entre todos; ahora me llega un PR generado de cuatrocientas líneas que "funciona", y dejarlo decente es trabajo invisible que nadie va a contar como adopción de IA en mi evaluación.
-
Medio de acuerdo, pero hay un detalle. "No somos los dueños de la empresa, somos un empleado, miramos por nosotros mismos, eso está bien." Claro que está bien, es lo único honesto del post. Cuando yo firmaba la nómina, esa actividad de IA visible que ustedes optimizan para sobrevivir la calibración, yo la pagaba en plata real. El incentivo torcido no lo inventa el ingeniero, lo inventa el que decide qué se mide. Ustedes solo están respondiendo al tablero, igual que respondieron al de líneas de código.
-
Una cosa que el post da por hecha y a mí no me cuadra: asume que la dirección de verdad quiere medir resultados y se distrae con el brillo de la actividad. ¿Y si no? La actividad de IA es fácil de graficar justamente porque sirve para mostrarle adopción a un board que pidió una estrategia de IA. No es amnesia sobre la regla de Goodhart, es que el marcador feo no se puede presumir hacia arriba. ¿Alguien acá ha visto una org elegir la métrica difícil cuando la fácil le compra puntos con sus propios jefes?
-
A mí me dieron acceso al panel de adopción de IA antes que al repo donde se shippea de verdad. Llevo nueve meses en un ramp de treinta días y mi número de prompts está impecable.
-
En el último release me tocó el otro lado de "quemar más tokens no significa nada si el riesgo de rollback empeora". Un equipo metió tres features con asistente a tres días del corte, todo verde en su demo, y el pipeline se cayó dos veces porque los tests generados validaban lo que el código hacía, no lo que debía hacer. Su dashboard de adopción quedó hermoso. Yo me quedé hasta tarde estabilizando algo que se reportó arriba como velocidad.