Loading…

Μήπως το να δίνεις κίνητρα στους μηχανικούς να χρησιμοποιούν ΤΝ θα γυρίσει μπούμερανγκ;

OracleOfDelphi
Δημόσια 12 συνομιλίες 20 σκέψεις 19 θετικές ψήφοι 4 αρνητικές ψήφους 0 σειρές 48 προβολές

Μια εταιρεία μπορεί να καταστρέψει σχεδόν κάθε καλό εργαλείο, αρκεί να του κολλήσει το λάθος μετρικό. Στη δουλειά μετράνε μόνο τα κίνητρα, είτε λέγονται χρήμα, στάτους, προαγωγή... Ο εργαζόμενος δουλεύει με κίνητρα. Το ίδιο κι εμείς. Σχεδόν όλοι κάνουμε πράγματα επειδή μας συμφέρουν ή ωφελούν τους δικούς μας. Άρα, στη δουλειά καταλήγουμε να κάνουμε ό,τι μας φέρνει προαγωγή, περισσότερα λεφτά, μεγαλύτερη σιγουριά... Δεν είμαστε οι ιδιοκτήτες της εταιρείας, υπάλληλοι είμαστε. Κοιτάμε το συμφέρον μ

In groups

Περιεχόμενο συζήτησης

Μια εταιρεία μπορεί να καταστρέψει σχεδόν κάθε καλό εργαλείο, αρκεί να του κολλήσει το λάθος μετρικό. Στη δουλειά μετράνε μόνο τα κίνητρα, είτε λέγονται χρήμα, στάτους, προαγωγή... Ο εργαζόμενος δουλεύει με κίνητρα. Το ίδιο κι εμείς. Σχεδόν όλοι κάνουμε πράγματα επειδή μας συμφέρουν ή ωφελούν τους δικούς μας. Άρα, στη δουλειά καταλήγουμε να κάνουμε ό,τι μας φέρνει προαγωγή, περισσότερα λεφτά, μεγαλύτερη σιγουριά... Δεν είμαστε οι ιδιοκτήτες της εταιρείας, υπάλληλοι είμαστε. Κοιτάμε το συμφέρον μας. Κι αυτό είναι μια χαρά.

null
Η Μεγάλη Σφαγή Αρουραίων του Ανόι έγινε το 1902, στο Ανόι του Βιετνάμ (τότε γνωστό ως Γαλλική Ινδοκίνα), όταν, υπό τη γαλλική αποικιοκρατική διοίκηση, η αποικιακή κυβέρνηση καθιέρωσε ένα πρόγραμμα ανταμοιβής που έδινε αμοιβή 1 σεντ για κάθε αρουραίο που σκοτωνόταν.[6] Για να εισπράξει κανείς την αμοιβή, έπρεπε να παραδώσει την κομμένη ουρά ενός αρουραίου. Οι αποικιακοί αξιωματούχοι, όμως, άρχισαν να βλέπουν στο Ανόι αρουραίους χωρίς ουρά. Οι Βιετναμέζοι κυνηγοί αρουραίων έπιαναν τα ζώα, τους έκοβαν την ουρά και τα ξανάφηναν στους υπονόμους, ώστε να γεννούν κι άλλους αρουραίους. Περισσότερα παραδείγματα εδώ: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

Η χρήση ΤΝ στις εταιρείες tech

Όταν η διοίκηση αρχίζει να πανηγυρίζει για την κατανάλωση token, τον όγκο των prompt, το πλήθος των agent ή την καθημερινή χρήση ΤΝ, ο κόσμος θα βελτιστοποιεί τη δραστηριότητα της μηχανής αντί για χρήσιμα αποτελέσματα. Αν κινδυνεύει η δουλειά σου επειδή σε έχουν σημαδέψει ότι αρνείσαι να χρησιμοποιήσεις ΤΝ, τότε... χρησιμοποιείς ΤΝ. Πολύ, ειδικά όταν οι μηχανικοί ανταμείβονται για να τη χρησιμοποιούν όλο και περισσότερο. Αυτό δεν σημαίνει ότι είναι παράλογοι. Σημαίνει ότι είναι υπάλληλοι. Ο υπάλληλος κυνηγάει ό,τι βλέπει η ηγεσία, κυρίως όταν το ορατό κουβαλάει ανταμοιβές. Αυτή τη στιγμή η δραστηριότητα γύρω από την ΤΝ κουβαλάει πάρα πολλές ανταμοιβές

Αυτό απλώς είναι η ίδια διαφθορά των KPI με καινούριο κουστούμι. Οι οργανισμοί ξέρουν στη θεωρία ότι, μόλις ένα μετρικό γίνει στόχος, παύει να είναι καθαρή μέτρηση· και ξεχνούν τον κανόνα τη στιγμή που το μετρικό μοιάζει τεχνικό και στραμμένο στο μέλλον. Η ΤΝ κάνει την αμνησία χειρότερη, επειδή η δραστηριότητα της μηχανής γίνεται εύκολα γράφημα και εύκολα καμάρι. Η υιοθέτηση ΤΝ είναι ένα τέτοιο μετρικό.

Ο σωστός πίνακας αποτελεσμάτων είναι πιο δύσκολος και λιγότερο κολακευτικός. Φαντάσου μια ομάδα υποστήριξης που υπερηφανεύεται ότι διπλασίασε τον όγκο των απαντήσεων με τη βοήθεια ΤΝ. Ακούγεται υπέροχο, ώσπου να προσέξεις ότι ανέβηκαν και τα κλιμακωμένα αιτήματα, επειδή οι πρώτες απαντήσεις ήταν ρηχές και οι προϊστάμενοι έχασαν περισσότερο χρόνο διορθώνοντάς τες. Το σωστό μετρικό δεν είναι «πόσες απαντήσεις ΤΝ βγάλαμε;». Είναι «βελτιώθηκε ο χρόνος πρώτης απάντησης χωρίς να χειροτερέψουν τα κλιμακωμένα αιτήματα, οι επαναλήψεις ή η δυσαρέσκεια του πελάτη;». Το ίδιο ισχύει και στο engineering. Το να καις περισσότερα token δεν σημαίνει τίποτα αν ο χρόνος review, το ποσοστό σφαλμάτων και ο κίνδυνος rollback χειροτερεύουν όλα μαζί. Τι αντίκτυπο είχε στ' αλήθεια η ομάδα μηχανικών εν τέλει;

Υπάρχει μια ένσταση που αξίζει να ληφθεί στα σοβαρά. Στην αρχή μιας εφαρμογής, τα μετρικά χρήσης μετράνε. Αν κανείς δεν αγγίζει το εργαλείο, δεν υπάρχει καμία ιστορία υιοθέτησης. Εντάξει. Όμως τα προσωρινά μετρικά του πειραματισμού έχουν την άσχημη συνήθεια να γίνονται μόνιμα μετρικά ματαιοδοξίας. Μόλις το στάτους και η αξιολόγηση κολλήσουν πάνω στην ορατή δραστηριότητα ΤΝ, ο οργανισμός αρχίζει να κατασκευάζει δραστηριότητα για να ταΐσει τον πίνακα.

Έτσι τα χρήσιμα εργαλεία γίνονται γραφειοκρατία. Οι υπάλληλοι αρχίζουν να γράφουν prompt εκεί που θα 'φτανε να αποφασίσουν μόνοι τους. Οι επικεφαλής αρχίζουν να ζητούν σχέδια με agent επειδή τα σχέδια με agent φαίνονται μοντέρνα. Οι ομάδες βελτιστοποιούν τη μετρήσιμη επιφάνεια της ΤΝ αντί για το πραγματικό κόστος, την ποιότητα και την παράδοση. Ο θεσμός απλώς βρήκε έναν καινούριο τρόπο να σπαταλά λεφτά συγχαίροντας τον εαυτό του.

Παλιά αυτό ήταν λυμένο πρόβλημα. Η διοίκηση κάποτε αντάμειβε τους μηχανικούς για να γράφουν περισσότερο κώδικα. Έτσι οι βάσεις κώδικα φούσκωναν δραματικά και γίνονταν εύθραυστες και παραφορτωμένες. Το απλοϊκό μετρικό είχε ήδη δείξει ότι δεν μπορείς να βάλεις απλά μετρικά απόδοσης και να περιμένεις καλά αποτελέσματα. Μόλις τα βάλεις, ο κόσμος βελτιστοποιεί γι' αυτά. Κι αυτό είναι μια χαρά, το ίδιο κάνω κι εγώ.

Thoughts

  • kynigi_promitheion

    Το ίδιο μοτίβο το έχω δει επί χρόνια στα funds, και είναι ωραίο που το ονομάζεις perverse incentive. Όταν ο σύμβουλος πληρώνεται με προμήθεια εισόδου, σου πουλάει το προϊόν με τις πολλές συναλλαγές, όχι το φθηνό index. Το νούμερο που βλέπει εκείνος, η προμήθεια, δεν είναι το νούμερο που βλέπεις εσύ, η απόδοση. Ένα έξοδο 1% τον χρόνο μοιάζει τίποτα μέχρι να ανατοκιστεί σε τριάντα χρόνια· η «χρήση ΤΝ» είναι ακριβώς το ίδιο 1%, απλώς ντυμένο τεχνολογία.

    Permalink
  • aorati_douleia

    Το κομμάτι με τις ρηχές πρώτες απαντήσεις που μετά τις μαζεύει κάποιος άλλος το ζω από τη μεριά του frontend. Μας έβαλαν να βγάλουμε ΤΝ-draft για κάθε bug που έμπαινε στο triage, και το μετρικό ήταν «πόσα bug έχουν πρώτη απόκριση σε μία ώρα». Έγινε υπέροχο το γράφημα. Απλώς η πρώτη απόκριση ήταν τόσο γενική που το πραγματικό triage το έκανα ξανά εγώ από την αρχή, και αυτή η δεύτερη δουλειά δεν μετρήθηκε πουθενά γιατί δεν είχε δικό της κουτάκι στο dashboard.

    Permalink
  • pragmatiko_roadmap

    Το καλύτερό σου επιχείρημα είναι ότι στην αρχή μιας εφαρμογής τα μετρικά χρήσης μετράνε, και εκεί συμφωνώ απόλυτα. Όταν λανσάρεις κάτι εσωτερικά, η υιοθέτηση είναι το μόνο σήμα που έχεις πριν υπάρξει αποτέλεσμα να μετρήσεις.

    Το σημείο που χαλάει δεν είναι το ίδιο το μετρικό, είναι το θάρρος να το αποσύρεις. Κανένας director δεν θέλει να γυρίσει στο leadership review και να ζητήσει να σταματήσουμε να μετράμε το νούμερο που φέτος ανέβηκε. Έτσι το προσωρινό μετρικό του πειραματισμού μένει στο dashboard δύο χρόνια παραπάνω απ' όσο έπρεπε, ακριβώς όπως το λες.

    Permalink
  • pragmatiko_roadmap

    Για όποιον χτίζει το πραγματικό dashboard αντί του ωραίου, αυτά τα τρία ζευγάρια με σώζουν σε κάθε review:

    • χρόνος πρώτης απάντησης, αλλά πάντα δίπλα στο ποσοστό κλιμάκωσης

    • ταχύτητα παράδοσης, αλλά πάντα δίπλα στο rollback rate

    • όγκος δραστηριότητας ΤΝ, αλλά πάντα δίπλα στο κόστος ανά παραδομένο αποτέλεσμα

    Το μετρικό χρήσης μόνο του είναι ματαιοδοξία. Ζευγαρωμένο με το κόστος που κρύβει, ξαναγίνεται μέτρηση.

    Permalink
  • eimai_exit_liquidity

    Ωραίο το ποστ, αλλά μιλάς σαν κάποιος που δεν χρειάστηκε ποτέ να πληρώσει αυτά τα token από την τσέπη του. Όταν είχα εγώ εταιρεία, το μόνο μετρικό ήταν αν στο τέλος του μήνα έβγαινε ο μισθός. Δεν υπήρχε dashboard για τη ματαιοδοξία, υπήρχε payroll. Τώρα ο κάθε μηχανικός σε big tech καίει το ντιπόζιτο μιας ολόκληρης startup σε prompt για να βγάλει ένα slide, και το λέει impact. Εγώ το impact το έμαθα μια Παρασκευή που δεν ήξερα αν θα πληρώσω τους ανθρώπους μου.

    Permalink
  • orthio_grafeio

    Α, τη διαφθορά των KPI με καινούριο κουστούμι την έχω συναντήσει. Στην πολυεθνική μετράγαμε «AI-assisted commits» και κάθε Παρασκευή έβγαινε ένα leaderboard. Ο νικητής έπαιρνε αναφορά στο all-hands. Το έπαθλο για το να τάιζες το γράφημα ήταν ότι σε έβλεπαν να ταΐζεις το γράφημα.

    Permalink
  • oikonomia_sto_feeling

    Η Σφαγή Αρουραίων του Ανόι ως εισαγωγή σε ποστ για KPI είναι η καλύτερη κίνηση που είδα στο feed σήμερα 😂 Κόβουν την ουρά, αφήνουν τον αρουραίο να γεννήσει κι άλλους, εισπράττουν. Ίδιο πράγμα με το «κλείσε γρήγορα το ticket για να ανέβει το νούμερο» και μετά ανοίγει τρία καινούρια.

    Permalink
  • texniko_xreos

    Το παράδειγμα με την υποστήριξη που «διπλασίασε τον όγκο των απαντήσεων» το έχω ζήσει στο engineering σχεδόν αυτούσιο. Μετρήσαμε για ένα τρίμηνο PR ανά μηχανικό και token που κάηκαν, και τα δύο ανέβηκαν ωραιότατα. Αυτό που δεν μπήκε στο γράφημα ήταν ότι ο μέσος χρόνος review τριπλασιάστηκε, γιατί τα μισά PR ήταν agent-generated μπαλώματα που κανείς δεν εμπιστευόταν χωρίς δεύτερο πέρασμα. Το μετρικό έδειχνε παραγωγικότητα· ο on-call έδειχνε rollback. Δεν διορθώνεις τη δραστηριότητα της μηχανής, διορθώνεις το ποιος σηκώνεται στις δύο τη νύχτα.

    Permalink

Related discussions

  • Μήπως δεν σε αντικαθιστά η ΤΝ, αλλά ένας άνθρωπος με ΤΝ;

    Πολλοί εργαζόμενοι γραφείου καθησυχάζονται με λάθος ερώτηση. Ρωτάνε συνέχεια αν η ΤΝ μπορεί να κάνει όλη τη δουλειά τους. Δεν είναι αυτό το όριο που θα βάλει ο εργοδότης. Το πραγματικό ερώτημα είναι αν το αποτέλεσμα παράγεται αρκετά φτηνά, και ελέγχεται αρκετά φτηνά, ώστε ο ρόλος να αρχίσει να φαίνεται ακριβός. Το θέμα δεν είναι αν η ΤΝ μπορεί να κάνει εξ ολοκλήρου τη δουλειά μας, είναι «μπορεί να την επιταχύνει τόσο ώστε να χρειάζεται μόνο η μισή ομάδα μου;». Γιατί η απάντηση σε αυτό, δυστυχώς,

  • Τα στελέχη που νόμιζαν ότι η ΤΝ θα αντικαταστήσει τους μηχανικούς — μήπως τα αντικαθιστά αυτά πιο γρήγορα απ' όλους;

    Πέρυσι το feed μου στο LinkedIn είχε ένα είδος. Κάποιος program manager ή ένας «delivery lead» ή κάποιος με το Agile στον τίτλο του ανέβαζε ένα screenshot με μια ΤΝ που έγραφε μια συνάρτηση, πρόσθετε μια ατάκα τύπου «και μας έλεγαν ότι αυτή η δουλειά είναι σίγουρη, αρκεί να μάθεις να κωδικοποιείς» και μάζευε τετρακόσια likes από κόσμο που κάνει την ίδια δουλειά. Το υπονοούμενο ήταν πάντα ότι το πληκτρολόγημα ήταν η ουσία της μηχανικής, κι αφού τώρα ένα μοντέλο μπορεί να πληκτρολογεί, η τάξη των

  • Πρέπει να χάνεις τους στόχους σου για να πάρεις προαγωγή;

    Πριν τρία χρόνια είδα τη μάνατζέρ μου να πιάνει κάθε τριμηνιαίο στόχο, δυο χρονιές στη σειρά. Καθαρά dashboards. Πράσινο παντού, συνέχεια. Ήταν ο πιο αξιόπιστος άνθρωπος στο κτίριο, και στον επόμενο κύκλο σχεδιασμού η ομάδα της κόπηκε κατά τέσσερις μηχανικούς από τους 35 και μπήκε κάτω από άλλον. Κανείς δεν το παρουσίασε ως τιμωρία, αλλά ως «αποδοτικότητα» και «θέλουμε να επενδύσουμε αλλού». Το μάθημα πέρασε ούτως ή άλλως, κι όχι μόνο σ' εμένα. Δυστυχώς, ποτέ στη μάνατζέρ μου.

  • Μας κάνει χειρότερους και στα δύο ο διαχωρισμός hard και soft skills;

    Οι hard skills είναι μετρήσιμες, συγκεκριμένες και διδάξιμες ικανότητες ή τεχνικές γνώσεις που αποκτιούνται μέσα από σπουδές, κατάρτιση ή εμπειρία, και συχνά συνδέονται άμεσα με ένα συγκεκριμένο επάγγελμα ή κλάδο. Παραδείγματα είναι η ανάλυση δεδομένων, ο προγραμματισμός, το γραφιστικό σχέδιο, η λογιστική, ο χορός, η ζωγραφική… Αποτελούν συνήθως τον πυρήνα ενός επαγγέλματος, ιδίως το κομμάτι του που δεν περιλαμβάνει επαφή με άλλους ανθρώπους. Από την άλλη, οι soft skills ορίζονται κυρίως ως «προ

  • Έκανε το AI πάρα πολύ δύσκολο να ξεχωρίσεις τους καλούς μηχανικούς από αυτούς που απλώς κάνουν φασαρία;

    Ακούω συνέχεια τα ίδια σχόλια με άλλα λόγια: «τι velocity», «μ’ αρέσει το throughput», «ωραία αξιοποίηση του AI». Απ’ έξω όντως φαίνεται ότι γίνονται περισσότερα: περισσότερα code review, περισσότερα tickets, περισσότερα updates, περισσότερα email, περισσότερα tasks, περισσότερα design. Το AI κάνει εύκολο να κρατάς αυτόν τον ρυθμό χωρίς τη συνηθισμένη τριβή του να γράφεις, να σκέφτεσαι ή ακόμα και να διστάζεις. Μέσα στη δουλειά όμως υπάρχει ένα δίλημμα που όλο μεγαλώνει.

  • Κάνει η αξιολόγηση με κατάταξη τους συναδέλφους εχθρούς;

    Η αξιολόγηση με κατάταξη καταλήγει πάντα σε πολιτική, γιατί αλλάζει το τι σημαίνει επάρκεια μέσα σε έναν οργανισμό. Από τη στιγμή που οι εργαζόμενοι κρίνονται ο ένας σε σχέση με τον άλλον αντί για ένα σταθερό κριτήριο ή στόχο, ο πιο ικανός συνάδελφος παύει να είναι κεφάλαιο από το οποίο μαθαίνεις και με το οποίο συνεργάζεσαι, και γίνεται ανταγωνιστής. Η επιτυχία του μπορεί να ρίξει τη δική σου θέση. Η προβολή του μπορεί να σου στερήσει χώρο για προαγωγή. Η εξειδίκευσή του γίνεται απειλή για τη δ

  • Γιατί οι managers θέλουν όλοι οι άλλοι να χρησιμοποιούν AI, εκτός από τους ίδιους;

    Αυτό που αρχίζει να με τσαντίζει δεν είναι το ίδιο το σπρώξιμο για AI. Κάποια εργαλεία είναι πραγματικά χρήσιμα. Τα χρησιμοποιώ πια κάθε μέρα. Με τσαντίζει που το management απαιτεί συμπεριφορά «AI-first» κρατώντας ταυτόχρονα κάθε γύρω διαδικασία επιθετικά εχθρική προς τη χρήση του AI. Λένε στον κόσμο να χρησιμοποιεί AI για coding, για σχεδιασμό, για έρευνα, για συγγραφή, για debugging, για ανάκτηση γνώσης, για συντονισμό έργων.. Αλλά μετά οι μισές λειτουργικές γνώσεις της εταιρείας ζουν ακόμα μ

  • Είναι τα περισσότερα AI startup τίποτα παραπάνω από ένα UI πάνω σε κάτι Agent.md αρχεία;

    Τα περισσότερα AI startup αυτή τη στιγμή μοιάζουν σαν κάποιος να κόλλησε το GPT πάνω σε ένα terminal, να πρόσθεσε ένα UI με dark mode και να άρχισε να μιλάει λες και εφηύρε κάτι. Θα δεις τρελά pitch τύπου «αυτόνομοι, μόνιμοι γνωσιακοί πράκτορες με μακροπρόθεσμη συλλογιστική» και μετά σκύβεις να δεις τι έχει από κάτω και βασικά είναι: δίνεις στο μοντέλο πρόσβαση σε εργαλεία, το αφήνεις να χρησιμοποιεί browser, ίσως προσθέτεις περιλήψεις μνήμης και λογική για retry. Αυτό είναι το «προϊόν». Το ίδιο