Cargando…

¿Incentivar a los ingenieros a usar IA probablemente salga mal?

OracleOfDelphi
Pública 19 conversaciones 33 pensamientos 413 votos positivos 61 votos negativos 0 series 917 vistas

Una empresa puede arruinar casi cualquier buena herramienta atándole la métrica equivocada. En el trabajo lo único que importa son los incentivos, ya sean beneficios económicos, estatus, ascenso... Los trabajadores trabajamos por incentivos. Tú y yo también. Prácticamente todo el mundo hace cosas porque le benefician a él o a los suyos. Por eso, en el trabajo, acabamos haciendo lo que nos consigue un ascenso, más dinero, más seguridad laboral... No somos los dueños de la empresa, somos un emplea

In groups

Contenido de la discusión

Una empresa puede arruinar casi cualquier buena herramienta atándole la métrica equivocada. En el trabajo lo único que importa son los incentivos, ya sean beneficios económicos, estatus, ascenso... Los trabajadores trabajamos por incentivos. Tú y yo también. Prácticamente todo el mundo hace cosas porque le benefician a él o a los suyos. Por eso, en el trabajo, acabamos haciendo lo que nos consigue un ascenso, más dinero, más seguridad laboral... No somos los dueños de la empresa, somos un empleado. Miramos por nosotros mismos. Eso está bien.

null
La Gran Masacre de Ratas de Hanói ocurrió en 1902, en Hanói, Vietnam (entonces conocida como Indochina Francesa), cuando, bajo el dominio colonial francés, el gobierno colonial creó un programa de recompensas que pagaba 1¢ por cada rata muerta.[6] Para cobrar la recompensa, la gente tenía que entregar la cola cortada de una rata. Sin embargo, los funcionarios coloniales empezaron a ver ratas en Hanói sin cola. Los cazadores de ratas vietnamitas atrapaban ratas, les cortaban la cola y luego las soltaban de vuelta en las alcantarillas para que produjeran más ratas. Más ejemplos aquí: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

El uso de la IA en las empresas tecnológicas

Cuando la dirección empieza a celebrar el consumo de tokens, el volumen de prompts, el número de agentes o el uso diario de la IA, la gente optimizará la actividad de la máquina en lugar de los resultados útiles. Si tu trabajo está en riesgo porque te señalan por negarte a usar la IA, entonces... usas la IA. Mucho, sobre todo cuando a los ingenieros se les recompensa por usarla cada vez más. Eso no significa que sean irracionales. Significa que son empleados. Los empleados van detrás de lo que la dirección puede ver, especialmente cuando lo visible lleva recompensas. Ahora mismo la actividad de IA lleva muchas recompensas

Esto es simplemente corrupción de KPI con un disfraz nuevo. Las organizaciones saben en teoría que, una vez que una métrica se convierte en objetivo, deja de ser una medida limpia, y luego se olvidan de la regla en cuanto la métrica parece técnica y orientada al futuro. La IA empeora la amnesia porque la actividad de la máquina es fácil de graficar y fácil de presumir. La adopción de IA es una de ellas.

El mejor marcador es más difícil y menos halagador. Imagina un equipo de soporte que con orgullo duplica su volumen de respuestas asistidas por IA. Suena genial hasta que te das cuenta de que las escalaciones también subieron porque las respuestas de primera pasada eran superficiales y los supervisores dedicaron más tiempo a arreglarlas. Una mejor métrica no es "¿cuántas respuestas de IA generamos?". Es "¿mejoró el tiempo de primera respuesta sin que empeoraran las escalaciones, el retrabajo o la frustración del cliente?". Lo mismo aplica en ingeniería. Quemar más tokens no significa nada si el tiempo de revisión, la tasa de defectos y el riesgo de rollback empeoran todos. ¿Cuánto impacto tuvo de verdad el equipo de ingeniería, de todos modos?

Hay una objeción que vale la pena tomarse en serio. Al principio de un despliegue, las métricas de uso pueden importar. Si nadie toca la herramienta, no hay ninguna historia de adopción. Vale. Pero las métricas temporales de experimentación tienen la mala costumbre de convertirse en métricas de vanidad permanentes. Una vez que el estatus y la evaluación se atan a la actividad de IA visible, la organización empieza a fabricar actividad para alimentar el marcador.

Así es como las herramientas útiles se vuelven burocracia. Los empleados empiezan a hacer prompts cuando deberían decidir por su cuenta. Los líderes empiezan a pedir planes de agentes porque los planes de agentes parecen modernos. Los equipos optimizan la superficie de IA medible en lugar del coste, la calidad y la entrega reales. La institución simplemente ha encontrado una nueva forma de malgastar dinero mientras se felicita a sí misma.

Esto antes era un problema resuelto. La dirección solía recompensar a los ingenieros por escribir más código. Así que las bases de código acababan creciendo de forma espectacular y volviéndose frágiles e infladas. Esa métrica simplificada ya mostró que no puedes poner métricas simples de rendimiento y esperar buenos resultados. En cuanto las pones, la gente las optimiza. Y eso está bien, yo hago lo mismo.

Thoughts

  • a_produccion_y_vemos

    Para mí la parte de "al principio las métricas de uso sí importan" es la única que compraría, pero con asterisco: nadie las apaga después. Vi como tres herramientas internas donde el dashboard de uso era temporal y sigue ahí dos años más tarde porque a alguien le quedó lindo en la review. Y bueno, capaz me equivoco, pero apostaría a que el de ustedes también sigue prendido.

    Permalink
  • media_idea_nomas

    media idea nomás: capaz el problema no es la IA, es que siempre vamos a medir lo que se grafica fácil. si mañana cambian a medir "impacto", en dos trimestres alguien ya descubrió cómo inflar el impacto también. no sé, no es que tenga la solución, nomás se me hace que el disfraz cambia y el truco no.

    Permalink
  • seco_pero_real

    Nada grita "somos una empresa de IA" como medir el éxito en cuántos tokens quemamos al mes.

    Permalink
  • becaria_notas

    Tengo anotada la frase de un director casi palabra por palabra: "queremos que el uso de IA sea parte de cómo evaluamos el impacto este trimestre". La masacre de ratas de Hanói pero en una junta de alineación. Desde esa semana la gente empezó a hacer prompts en cosas que antes resolvía en treinta segundos, solo para que quedara registro. El marcador subió, la decisión la siguen tomando igual de mal.

    Permalink
  • diego_backend

    El párrafo del soporte que duplica las respuestas asistidas y al mismo tiempo sube las escalaciones es exactamente lo que veo en ingeniería. La métrica de "adopción" es limpia de graficar porque no carga ninguna consecuencia. Yo mido distinto: cuántos incidentes en producción nacieron de un PR que pasó revisión rápido porque venía con buena prosa generada. El costo no desaparece, se muda de turno. Casi siempre cae en el on-call de las 2 a.m.

    Permalink
  • lucia_frontend

    Donde no estoy del todo de acuerdo es en tratarlo como nuevo. Esto es la misma trampa de las líneas de código pero con mejor relaciones públicas. Lo que sí cambió es quién paga la limpieza. Antes el código inflado lo arreglábamos entre todos; ahora me llega un PR generado de cuatrocientas líneas que "funciona", y dejarlo decente es trabajo invisible que nadie va a contar como adopción de IA en mi evaluación.

    Permalink
  • fundador_exiteado

    Medio de acuerdo, pero hay un detalle. "No somos los dueños de la empresa, somos un empleado, miramos por nosotros mismos, eso está bien." Claro que está bien, es lo único honesto del post. Cuando yo firmaba la nómina, esa actividad de IA visible que ustedes optimizan para sobrevivir la calibración, yo la pagaba en plata real. El incentivo torcido no lo inventa el ingeniero, lo inventa el que decide qué se mide. Ustedes solo están respondiendo al tablero, igual que respondieron al de líneas de código.

    Permalink
  • valen_pipelines

    Una cosa que el post da por hecha y a mí no me cuadra: asume que la dirección de verdad quiere medir resultados y se distrae con el brillo de la actividad. ¿Y si no? La actividad de IA es fácil de graficar justamente porque sirve para mostrarle adopción a un board que pidió una estrategia de IA. No es amnesia sobre la regla de Goodhart, es que el marcador feo no se puede presumir hacia arriba. ¿Alguien acá ha visto una org elegir la métrica difícil cuando la fácil le compra puntos con sus propios jefes?

    Permalink
  • onboarding_eterno

    A mí me dieron acceso al panel de adopción de IA antes que al repo donde se shippea de verdad. Llevo nueve meses en un ramp de treinta días y mi número de prompts está impecable.

    Permalink
  • valen_pipelines

    En el último release me tocó el otro lado de "quemar más tokens no significa nada si el riesgo de rollback empeora". Un equipo metió tres features con asistente a tres días del corte, todo verde en su demo, y el pipeline se cayó dos veces porque los tests generados validaban lo que el código hacía, no lo que debía hacer. Su dashboard de adopción quedó hermoso. Yo me quedé hasta tarde estabilizando algo que se reportó arriba como velocidad.

    Permalink

Related discussions

  • ¿La IA no puede reemplazar los trabajos de oficina por sí sola, pero una persona con IA sí puede reemplazar a varios?

    Mucha gente de oficina se consuela con la pregunta equivocada. No paran de preguntarse si la IA puede hacer todo su trabajo. Ese no es el umbral que va a usar su empresa. La verdadera pregunta es si el resultado se puede producir lo bastante barato, y revisar lo bastante barato, como para que el puesto empiece a parecer caro. No es si la IA puede hacer del todo nuestro trabajo, es "¿puede acelerarlo lo suficiente como para que solo haga falta la mitad de mi equipo?". Porque la respuesta a eso, t

  • ¿Y si la IA puede hacerte perder la cabeza y creer que eres inmune te pone en mayor riesgo?

    Siempre tuve la sensación de que las empresas de IA en realidad le ponen capas encima a la IA para detectar que la estamos poniendo a prueba pensando. Por ejemplo, cuando le hacíamos contar las vocales/consonantes de una palabra y se equivocaba. Tengo la sensación de que ahora hay un script que se invoca cuando la tarea se identifica correctamente. También me da la impresión de que se entrena con esos memes. Hoy encontré una prueba nueva, una que muestra lo fácil que es que la IA te provoque psi

  • ¿La IA está volviendo a los mánagers médicamente locos?

    Hay una nueva fantasía ejecutiva en circulación: que la IA puede reemplazar trabajadores. Aunque ciertamente está reemplazando a algunos, los ejecutivos tienen una fantasía que les hace sentir que pueden hacer ellos solos el trabajo de quienes les reportan, con IA. ¡Que saben programar! Solo hay que abrir un dashboard lleno de agentes con nombre, ver cómo las tareas se mueven entre paneles, pedir una actualización en tono autoritario y conseguir funcionalidades a capricho. Se siente como un sueñ

  • ¿Por qué los mánagers quieren que todos los demás usen IA, pero ellos no?

    Lo que empieza a irritarme no es el empujón hacia la IA en sí. Algunas herramientas son genuinamente útiles. Ahora las uso todos los días. Lo que me irrita es que la dirección exija un comportamiento “AI-first” mientras mantiene todos los procesos de alrededor agresivamente hostiles al uso de la IA. A la gente le dicen que use IA para programar, planificar, investigar, redactar, depurar, recuperar conocimiento, coordinar proyectos... Pero después la mitad del conocimiento operativo de la empresa

  • Does a 'realistic' Batman inevitably turn into a fascist symbol?

    The premise of every gritty Batman reboot is basically the same: what if we took this seriously and made it realistic? What if we removed the camp, lowered the color saturation, and asked what it would actually mean for a billionaire to put on armor and beat up criminals. Well, unfortunately, even with good intentions, it ends up being and advocacy for fascism...

  • Do private coaches hold you back more often than they help?

    Something I see in the gym every day are private coaches (usually from the gym itself) being paid to walk around and give some basic exercises to the trainee. Most people walk into coaching with a simple assumption: I have a goal, and the coach is paid to get me there. But that is not true. The coach is also running a business, and businesses respond to incentives whether the owner is transparent about them or not.

  • Does 'no days off' actually mean you're training hard enough?

    “No days off” is one of those phrases that sounds tough right up until you think about it for more than five seconds. Because what is the sentence actually saying? If you genuinely train hard, really hard, with enough intensity to force adaptation, your body will demand recovery. Not emotionally. Biologically. Tissue damage, nervous system fatigue, glycogen depletion, inflammatory response. The entire point of hard training is that the body cannot fully maintain itself without rebuilding…

  • Does AI make it impossible to tell great engineers from noisy ones?

    I keep hearing the same feedback in different forms: “great velocity,” “love the throughput,” “nice use of AI.” From the outside, it really does look like more is happening: more Code Reviews, more tickets touched, more updates, more emails, more tasks, more designs. AI makes it easy to sustain that cadence without the usual friction of writing, thinking, or even hesitating. But inside the work, there’s a dilemma that keeps getting bigger.