Sebuah studi terbaru mengungkapkan kesenjangan mencolok antara persepsi developer tentang bagaimana tools coding AI mempengaruhi produktivitas mereka dengan apa yang sebenarnya terjadi dalam praktik. Penelitian tersebut menemukan bahwa developer open-source berpengalaman membutuhkan waktu 19% lebih lama untuk menyelesaikan tugas ketika menggunakan tools AI, namun mereka percaya bahwa tools tersebut membuat mereka 20% lebih cepat.
Ringkasan Hasil Studi
- Perubahan produktivitas aktual: 19% lebih lambat dalam penyelesaian tugas
- Ekspektasi developer sebelum studi: 24% lebih cepat
- Persepsi developer setelah studi: 20% lebih cepat
- Kesenjangan persepsi maksimum: Hingga 60% perbedaan antara keyakinan dan kenyataan
- Ukuran studi: 16 developer open-source berpengalaman
- Karakteristik codebase: Besar (>1 juta baris), proyek yang sudah mapan
Masalah Persepsi vs Realitas
Temuan paling mengejutkan dari studi ini bukan hanya tentang waktu penyelesaian yang lebih lambat. Melainkan tentang seberapa salah developer dalam menilai performa mereka sendiri. Sebelum memulai, developer mengharapkan AI dapat meningkatkan produktivitas mereka sebesar 24%. Bahkan setelah menyelesaikan tugas dengan lebih lambat, mereka masih percaya bahwa AI telah mempercepat mereka sebesar 20%. Ini menunjukkan potensi kesenjangan 60% antara persepsi dan realitas dalam kasus terburuk.
Diskusi komunitas menyoroti betapa umumnya mispersepsi ini. Banyak developer melaporkan merasa lebih produktif dengan tools AI, tetapi data menunjukkan bahwa perasaan ini tidak selalu sesuai dengan output aktual. Aspek psikologis dari fenomena ini meluas melampaui coding - ini mencerminkan bagaimana orang sering salah menilai efektivitas tools di area kehidupan lainnya.
Mengapa Developer Berpengalaman Melambat
Penelitian ini berfokus pada developer open-source berpengalaman yang bekerja pada proyek mereka sendiri - orang-orang yang mengetahui codebase mereka dengan sangat baik. Teori di balik perlambatan mereka berkaitan dengan model mental. Developer ini telah menghabiskan bertahun-tahun membangun pemahaman detail tentang sistem mereka, tetapi tools AI tidak dapat mengakses atau mereplikasi kerangka mental ini.
Ketika developer mencoba mendelegasikan pekerjaan kepada AI, mereka menghadapi tantangan mendasar. Mereka harus menerjemahkan model mental yang kaya ke dalam prompt teks, yang lambat dan tidak sempurna. AI tidak memiliki pemahaman kontekstual yang membuat developer berpengalaman efektif pada proyek yang familiar.
Sisi Lain untuk Kode yang Tidak Familiar
Namun, diskusi komunitas mengungkapkan cerita berbeda untuk developer yang bekerja pada codebase yang tidak familiar. Beberapa developer berbagi pengalaman tentang peningkatan produktivitas yang signifikan ketika menggunakan tools AI pada proyek baru atau framework yang belum pernah mereka kerjakan sebelumnya.
Dalam beberapa jam, dengan bantuan Claude Code, saya sudah berhasil membuat sistem yang sangat bagus untuk mereplikasi data dari staging ke development lokal. Sesuatu yang pernah saya buat sebelumnya di proyek lain, dan saya tahu bahwa secara manual akan memakan waktu satu atau dua hari penuh.
Ini menunjukkan bahwa tools AI mungkin paling berharga ketika developer tidak memiliki model mental yang ada dari sistem yang mereka kerjakan. Di lingkungan korporat di mana developer sering mewarisi codebase dari kolega yang sudah pergi, tools AI dapat memberikan manfaat produktivitas yang nyata.
Efektivitas Tool AI Berdasarkan Konteks
- Paling efektif: Codebase yang tidak familiar, proyek greenfield, script sekali pakai
- Paling tidak efektif: Proyek yang familiar di mana developer memiliki model mental yang mendalam
- Hasil beragam: Proyek kompleks dengan kebutuhan konteks yang terus berkembang
- Keterbatasan utama: Kesulitan mentransfer model mental yang kaya melalui prompt teks
Trade-off Pembelajaran
Studi ini menimbulkan pertanyaan penting tentang pengembangan keterampilan jangka panjang. Jika nilai utama programming adalah membangun model mental sistem, apa yang terjadi ketika kita mengalihdayakan pekerjaan itu kepada AI? Developer yang menggunakan tools AI mungkin menyelesaikan tugas langsung lebih cepat pada kode yang tidak familiar, tetapi mereka mungkin kehilangan kesempatan untuk mengembangkan pemahaman yang mendalam.
Ini menciptakan pilihan strategis untuk developer dan organisasi. Untuk proyek jangka pendek atau tugas sekali pakai, tools AI mungkin memberikan manfaat yang jelas. Untuk proyek jangka panjang di mana pemahaman sistem yang mendalam penting, trade-off menjadi lebih kompleks.
Keterbatasan dan Konteks
Studi ini hanya melibatkan 16 developer yang bekerja pada codebase besar dan mapan. Kritikus menunjukkan bahwa kondisi ini tidak mewakili semua skenario pengembangan perangkat lunak. Hasil mungkin tidak berlaku untuk developer yang bekerja pada proyek yang lebih kecil, codebase yang lebih baru, atau jenis tugas pengembangan yang berbeda.
Feedback komunitas menunjukkan bahwa tools AI bekerja paling baik untuk kasus penggunaan spesifik: proyek greenfield, script sekali pakai, dan eksplorasi awal codebase baru. Kuncinya tampaknya adalah mencocokkan tool dengan konteks yang tepat daripada mengharapkan peningkatan produktivitas universal.
Penelitian ini memberikan data berharga di area yang sering didominasi oleh anekdot dan klaim pemasaran. Meskipun tools coding AI jelas memiliki tempatnya, studi ini menunjukkan bahwa developer harus lebih bijaksana tentang kapan dan bagaimana mereka menggunakannya. Pelajaran terbesar mungkin tentang kesadaran diri - jika developer bisa salah 60% tentang produktivitas mereka sendiri, mungkin sudah waktunya untuk lebih mengandalkan pengukuran daripada intuisi ketika mengevaluasi tools baru.
Referensi: AI slows down open source developers. Peter Naur can teach us why.