Asisten coding bertenaga AI sedang mengalami masalah pertumbuhan yang mengingatkan banyak developer pada masa-masa awal internet dial-up. Apa yang terasa seperti sihir beberapa bulan lalu kini semakin membuat frustrasi pengguna dengan gangguan yang sering terjadi, waktu respons yang lambat, dan performa yang tidak dapat diandalkan.
Perbandingan dengan internet tahun 1990-an bukan hanya nostalgia - tetapi sangat akurat. Sama seperti modem dial-up yang akan memutus koneksi saat cuaca buruk atau ketika seseorang perlu menelepon, agen coding saat ini sering terjebak, memerlukan beberapa kali percobaan ulang, dan membuat developer menunggu respons yang merangkak pada kecepatan 30-60 token per detik.
Perbandingan Performa Model AI:
- Model frontier saat ini: 30-60 token/detik
- Model cepat eksperimental ( Cerebras ): 2.000 token/detik (20-50x lebih cepat)
- Peningkatan kecepatan sebanding dengan transisi dari dial-up ke ADSL/kabel
Tekanan Infrastruktur dari Pertumbuhan Penggunaan yang Masif
Di balik masalah keandalan ini terdapat ledakan konsumsi token AI. Data OpenRouter menunjukkan peningkatan yang mencengangkan hingga 50 kali lipat dalam penggunaan, meskipun ini hanya mewakili sebagian kecil dari lalu lintas AI global. Angka sebenarnya dari penyedia utama seperti Google , Anthropic , dan OpenAI tetap menjadi rahasia yang dijaga ketat.
Lonjakan ini berasal dari cara kerja agen coding yang berbeda dari chatbot sederhana. Sementara percakapan AI biasa mungkin menggunakan ratusan token, alur kerja coding agentic dapat mengonsumsi ribuan kali lebih banyak token saat mereka menganalisis kode, menghasilkan solusi, dan melakukan iterasi melalui tugas-tugas kompleks. Permintaan sumber daya yang masif ini memberikan tekanan besar pada infrastruktur yang mendukung layanan-layanan ini.
Penyedia AI utama sedang berjuang dengan beban waktu puncak, terutama ketika jam kerja AS dan Eropa bertumpang tindih. Hasilnya adalah pola yang familiar dari performa yang menurun selama periode sibuk, mirip seperti penyedia broadband awal yang tidak dapat menangani lalu lintas internet malam hari.
Pertumbuhan Penggunaan Token:
- OpenRouter melaporkan peningkatan 50 kali lipat dalam penggunaan token AI
- Alur kerja coding agentic mengonsumsi ~1000 kali lebih banyak token dibandingkan interaksi chat sederhana
- Permintaan puncak terjadi selama jam kerja yang tumpang tindih antara AS dan Eropa
Masalah Bottleneck Kecepatan
Model AI saat ini beroperasi pada kecepatan yang menciptakan alur kerja yang canggung bagi developer. Pada 30-60 token per detik, kecepatannya cukup lambat untuk membuat frustrasi tetapi cukup cepat sehingga perpindahan konteks antara beberapa instance agen menjadi sangat membebani.
Beberapa developer telah bereksperimen dengan model yang jauh lebih cepat yang berjalan pada 2.000 token per detik - peningkatan kecepatan 20-50 kali lipat yang mirip dengan lompatan dari dial-up ke broadband awal. Namun, ini menciptakan masalahnya sendiri. Kecepatan yang sangat tinggi membuat tergoda untuk menerima semuanya tanpa review yang tepat, yang mengarah pada kualitas kode yang buruk.
Pada 2000tok/s tiba-tiba bottleneck dengan sangat cepat menjadi diri Anda sendiri. Menjadi sangat menggoda untuk mulai menerima semuanya, karena datangnya sangat cepat, yang mengarah pada hasil yang buruk.
Komunitas terbagi mengenai kecepatan optimal. Beberapa developer lebih menyukai kecepatan saat ini karena mereka dapat memantau pekerjaan AI secara real-time dan melakukan intervensi ketika melenceng dari jalur. Yang lain berargumen bahwa kecepatan yang jauh lebih tinggi akan memungkinkan alur kerja baru, seperti menjalankan beberapa upaya paralel untuk memecahkan masalah yang sama.
Peningkatan Produktivitas Masih Diperdebatkan
Meskipun adopsi yang luas, manfaat produktivitas aktual dari asisten coding AI masih menjadi perdebatan sengit di komunitas developer. Kritikus berargumen bahwa meskipun AI mungkin meningkatkan produktivitas yang dirasakan, sebenarnya mengurangi keterlibatan kognitif dengan kode, yang mengarah pada masalah jangka panjang saat kode yang dihasilkan AI terakumulasi dalam codebase tanpa pemahaman yang tepat dari maintainer manusia.
Pendukung membantah bahwa AI secara fundamental mengubah cara mereka bekerja, memungkinkan mereka menangani proyek yang biasanya tidak akan mereka miliki waktu untuk mengerjakannya. Teknologi ini tampak paling berhasil untuk membuat alat internal, prototipe cepat, dan menangani tugas-tugas rutin daripada pengembangan aplikasi inti.
Perdebatan sering bermuara pada bagaimana developer menggunakan alat-alat ini. Mereka yang memperlakukan AI sebagai mesin pencari atau asisten code review melaporkan pengalaman yang lebih baik daripada mereka yang mengandalkannya untuk generasi kode utama.
Evolusi Alur Kerja Developer:
- Era GPT-3.5: Tanya jawab dasar dengan halusinasi yang sering terjadi
- Era GPT-4/Sonnet 3.5: Asisten penting untuk potongan kode dan pertanyaan
- Era saat ini: Agen CLI yang diawasi membantu sebagian besar pekerjaan pengembangan
- Era masa depan: Percobaan paralel tanpa pengawasan dengan evaluasi otomatis
Model Harga dan Akses Masa Depan
Tantangan infrastruktur kemungkinan akan membentuk kembali cara layanan coding AI dihargai dan diberikan. Model saat ini berjuang dengan permintaan puncak sambil memiliki kapasitas cadangan yang sangat besar selama jam-jam sepi. Ini mencerminkan tantangan penyedia layanan internet awal dan menunjukkan solusi serupa mungkin akan muncul.
Harapkan untuk melihat rencana harga off-peak yang menawarkan batas penggunaan yang lebih murah hati di luar jam kerja sibuk. Sementara beberapa penyedia sudah menawarkan diskon pemrosesan batch, ini tidak cocok untuk alur kerja coding interaktif yang memerlukan respons real-time.
Industri juga mungkin bergerak menuju model harga yang lebih canggih yang dirancang untuk meratakan permintaan di berbagai zona waktu, membantu penyedia mengelola infrastruktur mereka lebih efisien sambil menawarkan developer akses yang lebih dapat diprediksi ke bantuan AI.
Saat teknologi terus berkembang dengan cepat, developer menghadapi tekanan untuk tetap mengikuti alat dan pendekatan baru. Lanskap tetap sangat tidak stabil, dengan peningkatan signifikan dalam kemampuan tooling dan model yang tiba secara teratur. Untuk saat ini, era dial-up dari coding AI berlanjut, tetapi yang setara dengan broadband mungkin tidak jauh lagi.
Referensi: What happens when coding agents stop feeling like dialup?