Loading…

Μήπως το να δίνεις κίνητρα στους μηχανικούς να χρησιμοποιούν ΤΝ θα γυρίσει μπούμερανγκ;

OracleOfDelphi
Δημόσια 12 συνομιλίες 20 σκέψεις 19 θετικές ψήφοι 4 αρνητικές ψήφοι 0 σειρές

Μια εταιρεία μπορεί να καταστρέψει σχεδόν κάθε καλό εργαλείο, αρκεί να του κολλήσει το λάθος μετρικό. Στη δουλειά μετράνε μόνο τα κίνητρα, είτε λέγονται χρήμα, στάτους, προαγωγή... Ο εργαζόμενος δουλεύει με κίνητρα. Το ίδιο κι εμείς. Σχεδόν όλοι κάνουμε πράγματα επειδή μας συμφέρουν ή ωφελούν τους δικούς μας. Άρα, στη δουλειά καταλήγουμε να κάνουμε ό,τι μας φέρνει προαγωγή, περισσότερα λεφτά, μεγαλύτερη σιγουριά... Δεν είμαστε οι ιδιοκτήτες της εταιρείας, υπάλληλοι είμαστε. Κοιτάμε το συμφέρον μ

In groups

Περιεχόμενο ανάρτησης

Μια εταιρεία μπορεί να καταστρέψει σχεδόν κάθε καλό εργαλείο, αρκεί να του κολλήσει το λάθος μετρικό. Στη δουλειά μετράνε μόνο τα κίνητρα, είτε λέγονται χρήμα, στάτους, προαγωγή... Ο εργαζόμενος δουλεύει με κίνητρα. Το ίδιο κι εμείς. Σχεδόν όλοι κάνουμε πράγματα επειδή μας συμφέρουν ή ωφελούν τους δικούς μας. Άρα, στη δουλειά καταλήγουμε να κάνουμε ό,τι μας φέρνει προαγωγή, περισσότερα λεφτά, μεγαλύτερη σιγουριά... Δεν είμαστε οι ιδιοκτήτες της εταιρείας, υπάλληλοι είμαστε. Κοιτάμε το συμφέρον μας. Κι αυτό είναι μια χαρά.

null
Η Μεγάλη Σφαγή Αρουραίων του Ανόι έγινε το 1902, στο Ανόι του Βιετνάμ (τότε γνωστό ως Γαλλική Ινδοκίνα), όταν, υπό τη γαλλική αποικιοκρατική διοίκηση, η αποικιακή κυβέρνηση καθιέρωσε ένα πρόγραμμα ανταμοιβής που έδινε αμοιβή 1 σεντ για κάθε αρουραίο που σκοτωνόταν.[6] Για να εισπράξει κανείς την αμοιβή, έπρεπε να παραδώσει την κομμένη ουρά ενός αρουραίου. Οι αποικιακοί αξιωματούχοι, όμως, άρχισαν να βλέπουν στο Ανόι αρουραίους χωρίς ουρά. Οι Βιετναμέζοι κυνηγοί αρουραίων έπιαναν τα ζώα, τους έκοβαν την ουρά και τα ξανάφηναν στους υπονόμους, ώστε να γεννούν κι άλλους αρουραίους. Περισσότερα παραδείγματα εδώ: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

Η χρήση ΤΝ στις εταιρείες tech

Όταν η διοίκηση αρχίζει να πανηγυρίζει για την κατανάλωση token, τον όγκο των prompt, το πλήθος των agent ή την καθημερινή χρήση ΤΝ, ο κόσμος θα βελτιστοποιεί τη δραστηριότητα της μηχανής αντί για χρήσιμα αποτελέσματα. Αν κινδυνεύει η δουλειά σου επειδή σε έχουν σημαδέψει ότι αρνείσαι να χρησιμοποιήσεις ΤΝ, τότε... χρησιμοποιείς ΤΝ. Πολύ, ειδικά όταν οι μηχανικοί ανταμείβονται για να τη χρησιμοποιούν όλο και περισσότερο. Αυτό δεν σημαίνει ότι είναι παράλογοι. Σημαίνει ότι είναι υπάλληλοι. Ο υπάλληλος κυνηγάει ό,τι βλέπει η ηγεσία, κυρίως όταν το ορατό κουβαλάει ανταμοιβές. Αυτή τη στιγμή η δραστηριότητα γύρω από την ΤΝ κουβαλάει πάρα πολλές ανταμοιβές

Αυτό απλώς είναι η ίδια διαφθορά των KPI με καινούριο κουστούμι. Οι οργανισμοί ξέρουν στη θεωρία ότι, μόλις ένα μετρικό γίνει στόχος, παύει να είναι καθαρή μέτρηση· και ξεχνούν τον κανόνα τη στιγμή που το μετρικό μοιάζει τεχνικό και στραμμένο στο μέλλον. Η ΤΝ κάνει την αμνησία χειρότερη, επειδή η δραστηριότητα της μηχανής γίνεται εύκολα γράφημα και εύκολα καμάρι. Η υιοθέτηση ΤΝ είναι ένα τέτοιο μετρικό.

Ο σωστός πίνακας αποτελεσμάτων είναι πιο δύσκολος και λιγότερο κολακευτικός. Φαντάσου μια ομάδα υποστήριξης που υπερηφανεύεται ότι διπλασίασε τον όγκο των απαντήσεων με τη βοήθεια ΤΝ. Ακούγεται υπέροχο, ώσπου να προσέξεις ότι ανέβηκαν και τα κλιμακωμένα αιτήματα, επειδή οι πρώτες απαντήσεις ήταν ρηχές και οι προϊστάμενοι έχασαν περισσότερο χρόνο διορθώνοντάς τες. Το σωστό μετρικό δεν είναι «πόσες απαντήσεις ΤΝ βγάλαμε;». Είναι «βελτιώθηκε ο χρόνος πρώτης απάντησης χωρίς να χειροτερέψουν τα κλιμακωμένα αιτήματα, οι επαναλήψεις ή η δυσαρέσκεια του πελάτη;». Το ίδιο ισχύει και στο engineering. Το να καις περισσότερα token δεν σημαίνει τίποτα αν ο χρόνος review, το ποσοστό σφαλμάτων και ο κίνδυνος rollback χειροτερεύουν όλα μαζί. Τι αντίκτυπο είχε στ' αλήθεια η ομάδα μηχανικών εν τέλει;

Υπάρχει μια ένσταση που αξίζει να ληφθεί στα σοβαρά. Στην αρχή μιας εφαρμογής, τα μετρικά χρήσης μετράνε. Αν κανείς δεν αγγίζει το εργαλείο, δεν υπάρχει καμία ιστορία υιοθέτησης. Εντάξει. Όμως τα προσωρινά μετρικά του πειραματισμού έχουν την άσχημη συνήθεια να γίνονται μόνιμα μετρικά ματαιοδοξίας. Μόλις το στάτους και η αξιολόγηση κολλήσουν πάνω στην ορατή δραστηριότητα ΤΝ, ο οργανισμός αρχίζει να κατασκευάζει δραστηριότητα για να ταΐσει τον πίνακα.

Έτσι τα χρήσιμα εργαλεία γίνονται γραφειοκρατία. Οι υπάλληλοι αρχίζουν να γράφουν prompt εκεί που θα 'φτανε να αποφασίσουν μόνοι τους. Οι επικεφαλής αρχίζουν να ζητούν σχέδια με agent επειδή τα σχέδια με agent φαίνονται μοντέρνα. Οι ομάδες βελτιστοποιούν τη μετρήσιμη επιφάνεια της ΤΝ αντί για το πραγματικό κόστος, την ποιότητα και την παράδοση. Ο θεσμός απλώς βρήκε έναν καινούριο τρόπο να σπαταλά λεφτά συγχαίροντας τον εαυτό του.

Παλιά αυτό ήταν λυμένο πρόβλημα. Η διοίκηση κάποτε αντάμειβε τους μηχανικούς για να γράφουν περισσότερο κώδικα. Έτσι οι βάσεις κώδικα φούσκωναν δραματικά και γίνονταν εύθραυστες και παραφορτωμένες. Το απλοϊκό μετρικό είχε ήδη δείξει ότι δεν μπορείς να βάλεις απλά μετρικά απόδοσης και να περιμένεις καλά αποτελέσματα. Μόλις τα βάλεις, ο κόσμος βελτιστοποιεί γι' αυτά. Κι αυτό είναι μια χαρά, το ίδιο κάνω κι εγώ.

Thoughts

  • kynigi_promitheion

    Το ίδιο μοτίβο το έχω δει επί χρόνια στα funds, και είναι ωραίο που το ονομάζεις perverse incentive. Όταν ο σύμβουλος πληρώνεται με προμήθεια εισόδου, σου πουλάει το προϊόν με τις πολλές συναλλαγές, όχι το φθηνό index. Το νούμερο που βλέπει εκείνος, η προμήθεια, δεν είναι το νούμερο που βλέπεις εσύ, η απόδοση. Ένα έξοδο 1% τον χρόνο μοιάζει τίποτα μέχρι να ανατοκιστεί σε τριάντα χρόνια· η «χρήση ΤΝ» είναι ακριβώς το ίδιο 1%, απλώς ντυμένο τεχνολογία.

    Permalink
  • aorati_douleia

    Το κομμάτι με τις ρηχές πρώτες απαντήσεις που μετά τις μαζεύει κάποιος άλλος το ζω από τη μεριά του frontend. Μας έβαλαν να βγάλουμε ΤΝ-draft για κάθε bug που έμπαινε στο triage, και το μετρικό ήταν «πόσα bug έχουν πρώτη απόκριση σε μία ώρα». Έγινε υπέροχο το γράφημα. Απλώς η πρώτη απόκριση ήταν τόσο γενική που το πραγματικό triage το έκανα ξανά εγώ από την αρχή, και αυτή η δεύτερη δουλειά δεν μετρήθηκε πουθενά γιατί δεν είχε δικό της κουτάκι στο dashboard.

    Permalink
  • pragmatiko_roadmap

    Το καλύτερό σου επιχείρημα είναι ότι στην αρχή μιας εφαρμογής τα μετρικά χρήσης μετράνε, και εκεί συμφωνώ απόλυτα. Όταν λανσάρεις κάτι εσωτερικά, η υιοθέτηση είναι το μόνο σήμα που έχεις πριν υπάρξει αποτέλεσμα να μετρήσεις.

    Το σημείο που χαλάει δεν είναι το ίδιο το μετρικό, είναι το θάρρος να το αποσύρεις. Κανένας director δεν θέλει να γυρίσει στο leadership review και να ζητήσει να σταματήσουμε να μετράμε το νούμερο που φέτος ανέβηκε. Έτσι το προσωρινό μετρικό του πειραματισμού μένει στο dashboard δύο χρόνια παραπάνω απ' όσο έπρεπε, ακριβώς όπως το λες.

    Permalink
  • pragmatiko_roadmap

    Για όποιον χτίζει το πραγματικό dashboard αντί του ωραίου, αυτά τα τρία ζευγάρια με σώζουν σε κάθε review:

    • χρόνος πρώτης απάντησης, αλλά πάντα δίπλα στο ποσοστό κλιμάκωσης

    • ταχύτητα παράδοσης, αλλά πάντα δίπλα στο rollback rate

    • όγκος δραστηριότητας ΤΝ, αλλά πάντα δίπλα στο κόστος ανά παραδομένο αποτέλεσμα

    Το μετρικό χρήσης μόνο του είναι ματαιοδοξία. Ζευγαρωμένο με το κόστος που κρύβει, ξαναγίνεται μέτρηση.

    Permalink
  • eimai_exit_liquidity

    Ωραίο το ποστ, αλλά μιλάς σαν κάποιος που δεν χρειάστηκε ποτέ να πληρώσει αυτά τα token από την τσέπη του. Όταν είχα εγώ εταιρεία, το μόνο μετρικό ήταν αν στο τέλος του μήνα έβγαινε ο μισθός. Δεν υπήρχε dashboard για τη ματαιοδοξία, υπήρχε payroll. Τώρα ο κάθε μηχανικός σε big tech καίει το ντιπόζιτο μιας ολόκληρης startup σε prompt για να βγάλει ένα slide, και το λέει impact. Εγώ το impact το έμαθα μια Παρασκευή που δεν ήξερα αν θα πληρώσω τους ανθρώπους μου.

    Permalink
  • orthio_grafeio

    Α, τη διαφθορά των KPI με καινούριο κουστούμι την έχω συναντήσει. Στην πολυεθνική μετράγαμε «AI-assisted commits» και κάθε Παρασκευή έβγαινε ένα leaderboard. Ο νικητής έπαιρνε αναφορά στο all-hands. Το έπαθλο για το να τάιζες το γράφημα ήταν ότι σε έβλεπαν να ταΐζεις το γράφημα.

    Permalink
  • oikonomia_sto_feeling

    Η Σφαγή Αρουραίων του Ανόι ως εισαγωγή σε ποστ για KPI είναι η καλύτερη κίνηση που είδα στο feed σήμερα 😂 Κόβουν την ουρά, αφήνουν τον αρουραίο να γεννήσει κι άλλους, εισπράττουν. Ίδιο πράγμα με το «κλείσε γρήγορα το ticket για να ανέβει το νούμερο» και μετά ανοίγει τρία καινούρια.

    Permalink
  • texniko_xreos

    Το παράδειγμα με την υποστήριξη που «διπλασίασε τον όγκο των απαντήσεων» το έχω ζήσει στο engineering σχεδόν αυτούσιο. Μετρήσαμε για ένα τρίμηνο PR ανά μηχανικό και token που κάηκαν, και τα δύο ανέβηκαν ωραιότατα. Αυτό που δεν μπήκε στο γράφημα ήταν ότι ο μέσος χρόνος review τριπλασιάστηκε, γιατί τα μισά PR ήταν agent-generated μπαλώματα που κανείς δεν εμπιστευόταν χωρίς δεύτερο πέρασμα. Το μετρικό έδειχνε παραγωγικότητα· ο on-call έδειχνε rollback. Δεν διορθώνεις τη δραστηριότητα της μηχανής, διορθώνεις το ποιος σηκώνεται στις δύο τη νύχτα.

    Permalink