Industri teknologi mendapati dirinya terpecah mengenai Large Language Models ( LLM ), dengan beberapa pengembang mengklaim peningkatan produktivitas yang masif sementara yang lain melaporkan manfaat yang minimal. Perpecahan ini telah memicu perdebatan sengit tentang apakah teknologi tersebut merepresentasikan terobosan yang sesungguhnya atau gelombang lain dari janji-janji yang terlalu dibesar-besarkan.
Masalah Konteks yang Hilang
Isu utama yang memicu perpecahan ini adalah kurangnya detail spesifik dalam klaim produktivitas. Ketika pengembang berbagi pengalaman mereka dengan LLM , informasi penting sering kali hilang. Kita tidak tahu jenis proyek apa yang mereka kerjakan, apakah itu aplikasi greenfield baru atau sistem legacy yang kompleks, atau bahasa pemrograman dan framework apa yang terlibat.
Tingkat keahlian pengembang juga tetap tidak jelas. Seorang insinyur senior yang bekerja pada proyek React akan memiliki hasil yang sangat berbeda dibandingkan dengan seorang desainer yang mencoba memodifikasi kode OCaml . Namun pengalaman-pengalaman ini digabungkan dalam diskusi, membuat perbandingan yang bermakna hampir tidak mungkin.
Faktor Kunci Kesuksesan untuk Penggunaan LLM:
- Keahlian domain di bidang target
- Keterampilan dalam rekayasa prompt dan pemecahan tugas
- Ekspektasi yang tepat untuk output non-deterministik
- Mencocokkan kemampuan alat dengan kasus penggunaan spesifik
Ekspektasi Manajemen vs Realitas
Kesenjangan produktivitas menjadi lebih bermasalah ketika klaim yang digelembungkan mencapai manajemen. Beberapa perusahaan melaporkan mendengar tentang peningkatan produktivitas 10 kali lipat, menetapkan ekspektasi yang tidak realistis di seluruh organisasi. Namun, bahkan pengembang yang merasa LLM membantu biasanya melihat peningkatan yang lebih moderat.
Satu faktor kunci yang membatasi peningkatan produktivitas secara keseluruhan adalah Hukum Amdahl - bahkan jika coding menjadi secara signifikan lebih cepat, pengembang menghabiskan waktu yang cukup besar untuk aktivitas lain seperti perencanaan, komunikasi, dan debugging. Ini berarti peningkatan 10 kali lipat dalam generasi kode mungkin hanya diterjemahkan menjadi peningkatan produktivitas keseluruhan 10-15%.
Faktor biaya juga penting. Sementara langganan LLM seperti Claude Max berharga sekitar 200 dolar Amerika per bulan (kira-kira 2% dari gaji rata-rata insinyur perangkat lunak), persamaan nilai total bergantung pada peningkatan produktivitas aktual daripada yang teoretis.
Pemeriksaan Realitas Produktivitas:
- Peningkatan yang diklaim: Hingga 10x peningkatan produktivitas
- Peningkatan keseluruhan aktual: Biasanya 10-15% karena Hukum Amdahl
- Coding hanya mewakili sebagian dari total waktu pengembangan
Sifat Non-Deterministik Menciptakan Inkonsistensi
LLM menghadirkan tantangan lain melalui perilaku non-deterministik mereka. Prompt yang sama dapat menghasilkan hasil yang berbeda pada waktu yang berbeda, membuat sulit untuk menetapkan alur kerja yang dapat diandalkan. Ketidakprediktabilan ini berarti apa yang bekerja dengan sempurna hari ini mungkin gagal besok, bahkan untuk tugas yang identik.
Beberapa pengembang telah belajar untuk bekerja dengan ketidakpastian ini dengan memperlakukan LLM lebih seperti mesin pencari - memerlukan keterampilan untuk membuat prompt yang efektif dan mengelola ekspektasi. Kesuksesan sering kali datang dari memecah tugas kompleks menjadi bagian-bagian yang lebih kecil dan lebih dapat dikelola daripada mengharapkan solusi lengkap.
Aplikasi Industri di Luar Coding
Sementara aplikasi coding merebut headline, LLM menunjukkan potensi di area lain. Banyak perusahaan mempekerjakan ribuan pekerja yang terutama memindahkan data antar sistem - dari spreadsheet ke CRM ke email. Tugas-tugas repetitif ini mungkin lebih cocok untuk kemampuan LLM saat ini daripada pengembangan perangkat lunak yang kompleks.
Profesional hukum melaporkan peningkatan produktivitas yang signifikan, dengan beberapa mengklaim output 2 kali lipat dengan lebih sedikit kesalahan. Ini masuk akal mengingat bahwa pekerjaan hukum sering melibatkan reorganisasi dan reformatting teks yang sudah ada daripada menciptakan struktur logis yang sepenuhnya baru.
Perbandingan dengan Hype Crypto
Kritikus menarik paralel antara antusiasme LLM saat ini dan siklus hype cryptocurrency sebelumnya. Kedua teknologi menarik advokat yang bersemangat yang menolak skeptis sebagai orang yang tidak memahami potensi sebenarnya. Dinamika ini dapat menghentikan diskusi teknis yang produktif tentang kemampuan dan keterbatasan aktual.
Namun, tidak seperti crypto, LLM menunjukkan utilitas yang jelas dalam kasus penggunaan spesifik hari ini. Tantangannya terletak pada memisahkan aplikasi yang asli dari klaim pemasaran yang digelembungkan dan ekspektasi yang tidak realistis.
Biaya Tool LLM:
- Claude Max : $200 USD/bulan (~2% dari rata-rata gaji software engineer)
- Merepresentasikan biaya yang relatif kecil dibandingkan dengan total pengeluaran tenaga kerja
Kesimpulan
Perdebatan produktivitas LLM mencerminkan tantangan yang lebih luas dalam mengevaluasi teknologi yang muncul. Tanpa metrik yang terstandarisasi dan konteks yang detail, pengalaman individu menjadi sulit untuk dibandingkan atau digeneralisasi. Sementara alat-alat ini jelas memberikan nilai dalam situasi tertentu, industri membutuhkan metode evaluasi yang lebih ketat untuk memisahkan terobosan yang asli dari siklus hype sementara.
Kesuksesan dengan LLM tampaknya sangat bergantung pada mencocokkan alat yang tepat dengan tugas yang tepat, mengelola ekspektasi dengan tepat, dan mengembangkan keterampilan untuk bekerja secara efektif dengan sistem non-deterministik. Seiring teknologi matang, pola penggunaan yang efektif yang lebih jelas kemungkinan akan muncul.
Referensi: Everything around LLMs is still magical and wishful thinking