Loading…

Tạo động lực để kỹ sư dùng AI có phản tác dụng không?

OracleOfDelphi
Công khai 7 cuộc trò chuyện 12 suy nghĩ 111 lượt tán thành 12 phản đối 0 loạt bài

Một công ty có thể phá hỏng gần như mọi công cụ tốt chỉ bằng cách gắn cho nó sai chỉ số. Ở nơi làm việc, động lực là tất cả những gì quan trọng, dù là lợi ích tài chính, địa vị, hay thăng tiến... Người lao động làm việc theo động lực. Bạn và tôi cũng vậy. Gần như ai cũng làm mọi thứ vì nó có lợi cho mình hoặc cho người thân. Vì thế, ở chỗ làm, chúng ta rốt cuộc làm cái gì giúp mình được thăng chức, kiếm thêm tiền, có thêm sự bảo đảm công việc... Chúng ta không phải chủ công ty, chúng ta là nhân

In groups

Nghĩ

Nghĩ

lap_luan_cay

Người bắt chuột cắt đuôi rồi thả chuột về cống là toàn bộ chiến lược AI của nửa số công ty công nghệ năm nay, chỉ khác là cái đuôi giờ gọi là prompt và con chuột thì vẫn còn đó.

Người bắt chuột cắt đuôi rồi thả chuột về cống là toàn bộ chiến lược AI của nửa số công ty công nghệ năm nay, chỉ khác là cái đuôi giờ gọi là prompt và con chuột thì vẫn còn đó.

Nội dung bài viết

Một công ty có thể phá hỏng gần như mọi công cụ tốt chỉ bằng cách gắn cho nó sai chỉ số. Ở nơi làm việc, động lực là tất cả những gì quan trọng, dù là lợi ích tài chính, địa vị, hay thăng tiến... Người lao động làm việc theo động lực. Bạn và tôi cũng vậy. Gần như ai cũng làm mọi thứ vì nó có lợi cho mình hoặc cho người thân. Vì thế, ở chỗ làm, chúng ta rốt cuộc làm cái gì giúp mình được thăng chức, kiếm thêm tiền, có thêm sự bảo đảm công việc... Chúng ta không phải chủ công ty, chúng ta là nhân viên. Chúng ta lo cho bản thân. Vậy cũng được thôi.

null
Vụ Đại Tàn Sát Chuột ở Hà Nội xảy ra năm 1902, tại Hà Nội, Việt Nam (khi đó gọi là Đông Dương thuộc Pháp), khi dưới chế độ thực dân Pháp, chính quyền thuộc địa lập một chương trình treo thưởng trả 1¢ cho mỗi con chuột bị giết.[6] Để lĩnh thưởng, người ta phải nộp cái đuôi chuột đã cắt đứt. Tuy nhiên, quan chức thuộc địa bắt đầu để ý thấy chuột ở Hà Nội không có đuôi. Những người bắt chuột người Việt bắt chuột, cắt đuôi, rồi thả chúng về cống để chúng đẻ thêm chuột. Thêm nhiều ví dụ ở đây: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

Việc dùng AI trong các công ty công nghệ

Khi ban quản lý bắt đầu tung hô lượng token tiêu thụ, số lượng prompt, số lượng agent, hay mức dùng AI hằng ngày, người ta sẽ tối ưu cho hoạt động của máy thay vì cho kết quả hữu ích. Nếu công việc của bạn lâm nguy vì bị đánh dấu là từ chối dùng AI thì... bạn dùng AI thôi. Dùng nhiều là khác, nhất là khi kỹ sư được tưởng thưởng vì dùng nó ngày một nhiều. Điều đó không có nghĩa họ phi lý. Nó có nghĩa họ là nhân viên. Nhân viên đuổi theo cái mà lãnh đạo nhìn thấy được, nhất là khi cái nhìn thấy được ấy đi kèm phần thưởng. Ngay lúc này, hoạt động AI đi kèm rất nhiều phần thưởng

Đây chỉ là sự tha hóa KPI khoác bộ cánh mới. Về lý thuyết các tổ chức đều biết rằng một khi chỉ số trở thành mục tiêu thì nó thôi còn là một thước đo sạch, rồi họ quên béng quy luật đó ngay khoảnh khắc chỉ số trông có vẻ kỹ thuật và hướng tới tương lai. AI làm chứng quên này tệ hơn vì hoạt động của máy rất dễ vẽ biểu đồ và dễ đem khoe. Mức độ áp dụng AI là một trong số đó.

Bảng điểm tốt hơn thì khó hơn và kém hào nhoáng hơn. Hãy hình dung một team support tự hào tăng gấp đôi lượng phản hồi có AI hỗ trợ. Nghe thì tuyệt cho đến khi bạn để ý rằng số ca phải escalate cũng tăng vì các phản hồi vòng đầu hời hợt và cấp trên tốn nhiều thời gian hơn để sửa. Một chỉ số tốt hơn không phải là "chúng ta tạo ra bao nhiêu câu trả lời bằng AI?". Nó là "thời gian phản hồi lần đầu có cải thiện mà không làm tệ hơn việc escalate, làm lại, hay sự bực bội của khách hàng không?". Điều y hệt cũng đúng trong kỹ thuật. Đốt thêm token là vô nghĩa nếu thời gian review, tỷ lệ lỗi và rủi ro rollback đều tệ đi. Mà thật ra team kỹ thuật thực sự tạo được bao nhiêu tác động?

Có một phản biện đáng xem xét nghiêm túc. Ở giai đoạn đầu triển khai, các chỉ số sử dụng có thể quan trọng. Nếu chẳng ai đụng tới công cụ thì làm gì có câu chuyện áp dụng nào. Được thôi. Nhưng các chỉ số thử nghiệm tạm thời có cái tật xấu là biến thành chỉ số phù phiếm lâu dài. Một khi địa vị và đánh giá gắn vào hoạt động AI nhìn thấy được, tổ chức bắt đầu chế ra hoạt động để nuôi cái bảng điểm.

Đó là cách những công cụ hữu ích biến thành bộ máy hành chính. Nhân viên bắt đầu prompt trong khi lẽ ra chỉ cần tự quyết. Lãnh đạo bắt đầu đòi các kế hoạch agent vì kế hoạch agent trông hiện đại. Các team tối ưu cho bề mặt AI đo được thay vì cho chi phí, chất lượng và việc giao hàng thực tế. Định chế chỉ đơn giản là tìm ra một cách mới để phí tiền trong khi tự vỗ tay khen mình.

Đây từng là một bài toán đã được giải. Ban quản lý từng tưởng thưởng kỹ sư vì viết thêm code. Thế là các codebase phình to chóng mặt rồi trở nên giòn gãy và cồng kềnh. Cái chỉ số đơn giản hóa đó đã cho thấy rằng không thể đặt ra những chỉ số đơn giản cho hiệu suất rồi mong có kết quả tốt. Hễ đặt chúng ra, người ta sẽ tối ưu theo chúng. Mà thế cũng được thôi, tôi cũng làm vậy mà.

Thoughts

  • tuan_release

    Tôi đồng ý với kết luận nhưng muốn bảo vệ cái phản biện mà bài nhắc rồi gạt hơi nhanh. Ở giai đoạn đầu, chỉ số sử dụng đúng là cần, vì nếu không ai đụng công cụ thì không có gì để đo cả. Vấn đề không phải đo adoption, mà là không có ngày hết hạn cho nó. Cái tôi muốn thấy là một cam kết rõ: chỉ số này sống ba tháng rồi chết, sau đó chỉ tính latency, lỗi và rollback. Không có ngày chết thì mọi chỉ số tạm thời đều thành vĩnh viễn.

    Permalink
  • ban_dung_lam_mau

    Chỗ cũ của tôi có cái dashboard "AI adoption" treo ngay sảnh. Tới quý sau thì mọi ticket đều có một dòng prompt dán vào để được tính là "có dùng AI", kể cả những việc đổi một dòng config. Không ai tiết kiệm được phút nào, nhưng cái cột màu xanh thì lên rất đẹp. Họ gọi đó là chuyển đổi số. Tôi gọi đó là vụ tàn sát chuột Hà Nội phiên bản có Slack.

    Permalink
  • no_ky_thuat

    Đây là Goodhart khoác áo AI, và bài gọi đúng tên. Cái ví dụ support tăng gấp đôi phản hồi rồi escalation cũng tăng là chuyện tôi sống hằng tuần ở tầng kỹ thuật: token tiêu thụ tăng, thời gian review và tỷ lệ rollback cũng tăng theo. Token là một input, không phải outcome, mà ban quản lý lại vẽ biểu đồ nó vì nó dễ vẽ. Một chỉ số đo hoạt động của máy sẽ luôn thắng một chỉ số đo kết quả, đơn giản vì cái đầu rẻ hơn để đếm.

    Permalink
  • lap_luan_cay

    Người bắt chuột cắt đuôi rồi thả chuột về cống là toàn bộ chiến lược AI của nửa số công ty công nghệ năm nay, chỉ khác là cái đuôi giờ gọi là prompt và con chuột thì vẫn còn đó.

    Permalink
  • vach_tran_phi

    Phần "định chế tìm ra cách mới để phí tiền rồi tự vỗ tay" có một mặt tài chính rất cụ thể. Có người đang được trả tiền cho mỗi đơn vị hoạt động AI đó: nhà cung cấp model tính theo token, vendor bán seat license, advisor bán gói chuyển đổi. Khi một chỉ số sử dụng vừa được sếp khen vừa làm hóa đơn của một bên nào đó dày lên, hãy hỏi ai viết ra cái chỉ số. Động cơ đếm token hiếm khi nằm ở phía người gõ code.

    Permalink