Sebuah studi terbaru telah menantang kepercayaan luas bahwa alat coding AI meningkatkan produktivitas developer. Meskipun raksasa teknologi seperti Microsoft mengklaim asisten AI mereka mengubah pengembangan perangkat lunak, penelitian menunjukkan realitanya mungkin cukup berbeda untuk programmer berpengalaman.
Kelompok penelitian AI nirlaba METR melakukan studi komprehensif dengan 16 developer open-source berpengalaman, masing-masing rata-rata memiliki pengalaman lebih dari 10 tahun. Mereka bukan pemula yang belajar coding - mereka adalah ahli yang bekerja pada perbaikan bug dan fitur nyata dalam repositori kode yang familiar.
Peserta Studi: 16 pengembang open-source berpengalaman dengan rata-rata pengalaman 10+ tahun
 |
|---|
| Seorang developer berpengalaman bergulat dengan kompleksitas alat coding AI, mencerminkan tantangan yang terungkap dalam studi terbaru |
Paradoks Produktivitas
Hasilnya mengejutkan. Developer yang menggunakan alat AI seperti Cursor Pro dan Claude 3.5/3.7 Sonnet membutuhkan waktu 19% lebih lama untuk menyelesaikan tugas mereka dibandingkan dengan mereka yang bekerja tanpa bantuan AI. Yang membuat temuan ini semakin menarik adalah para developer sendiri mengharapkan AI akan mempercepat mereka sebesar 24% sebelum memulai, dan masih percaya bahwa AI telah membantu mereka bekerja 20% lebih cepat bahkan setelah menyelesaikan studi.
Ketidaksesuaian antara persepsi dan realitas ini menyoroti isu kunci dalam cara kita mengevaluasi efektivitas alat AI. Komunitas telah mencatat bahwa meskipun AI dapat dengan cepat menghasilkan kode dalam jumlah besar, biaya tersembunyi sering kali melebihi keuntungan kecepatan awal.
Ekspektasi Developer vs Realita: Mengharapkan 24% lebih cepat, merasakan peningkatan 20%, aktualnya 19% lebih lambat
Biaya Waktu Tersembunyi
Studi mengungkap beberapa faktor yang berkontribusi pada perlambatan. Pertama, developer menghabiskan waktu yang cukup banyak untuk membuat prompt yang efektif untuk alat AI. Menulis prompt programming yang baik memerlukan keterampilan dan latihan - tidak sesederhana meminta AI untuk menulis sebuah fungsi.
Kedua, dan mungkin lebih signifikan, developer mendapati diri mereka menghabiskan waktu ekstensif untuk meninjau kode yang dihasilkan AI dan memperbaiki kesalahan. Salah satu peserta, seorang developer Google Chrome , sangat terkejut dengan betapa buruknya model AI dalam menangani implementasi spesifikasi web.
Pengalaman saya adalah [AI] dapat menghasilkan 80% dalam beberapa menit, tetapi butuh waktu lama untuk menghapus kode duplikat, desain sistem yang buruk atau tidak ada, dan memperbaiki bug.
Alat AI yang Diuji: Cursor Pro dan Claude 3.5/3.7 Sonnet
Trade-off Kualitas vs Kecepatan
Diskusi komunitas mengungkap pola yang meluas melampaui studi tunggal ini. DevOps Research and Assessment Google 2024 menemukan isu serupa - meskipun alat AI meningkatkan kecepatan review kode, kualitasnya sering kali terlalu buruk untuk penggunaan produksi. Tim melaporkan lebih banyak kesalahan dan menghabiskan waktu tambahan untuk membersihkan kesalahan yang dihasilkan AI.
Ini menciptakan apa yang beberapa developer sebut zombie loops - siklus tak berujung di mana AI menghasilkan kode yang cacat, developer memperbaikinya, hanya untuk AI kembali ke kesalahan serupa atau memperkenalkan masalah baru.
Implikasi yang Lebih Luas
Temuan ini tidak terbatas pada programming. Isu kualitas serupa muncul di berbagai bidang di mana alat AI sedang diadopsi. Masalah inti tampaknya adalah bahwa AI unggul dalam menghasilkan pekerjaan yang tampak benar di permukaan tetapi sering mengandung kesalahan halus atau cacat desain yang memerlukan pengetahuan ahli untuk mengidentifikasi dan memperbaiki.
Untuk profesional berpengalaman, ini berarti alat AI bekerja paling baik sebagai bantuan daripada pengganti. Mereka paling efektif ketika Anda sudah tahu apa yang ingin dicapai dan dapat dengan cepat mengenali ketika AI menyimpang dari jalur. Namun, untuk pengguna yang kurang berpengalaman yang sangat bergantung pada output AI, alat ini dapat menciptakan ketergantungan berbahaya di mana orang dapat menghasilkan kode tetapi kesulitan memahami, debug, atau memeliharanya.
Studi menunjukkan bahwa meskipun alat coding AI memiliki potensi, keterbatasan saat ini berarti mereka mungkin sebenarnya menghambat produktivitas untuk tugas pengembangan dunia nyata yang kompleks. Seiring teknologi terus berkembang, kuncinya adalah menemukan keseimbangan yang tepat antara bantuan AI dan keahlian manusia.
Referensi: Wait a minute — developers who use genAI tools are slower?