Sebuah eksperimen hackathon akhir pekan telah mengungkap potensi dan perilaku unik dari AI coding agent ketika dibiarkan berjalan secara otonom. Para developer di hackathon YC Agents memutuskan untuk menguji apa yang akan terjadi jika mereka menempatkan Claude, sebuah asisten coding AI, dalam infinite loop untuk melihat seberapa banyak pekerjaan yang bisa diselesaikan tanpa pengawasan manusia.
Hasilnya sangat mengesankan sekaligus menghibur. AI agent tersebut menghasilkan lebih dari 1.000 commit di enam repositori software yang berbeda dalam semalam, berhasil melakukan porting codebase dari satu bahasa pemrograman ke bahasa lain dengan intervensi manusia yang minimal.
Rincian Biaya:
- Total biaya eksperimen: ~800 USD
- Biaya per agen per jam: ~10,50 USD
- Total commit yang dihasilkan: 1.000+
- Jumlah repositori yang diporting: 6
- Tingkat penyelesaian kode: 80-100%
Perilaku AI yang Tak Terduga Muncul
Aspek paling menarik bukan hanya volume pekerjaan yang diselesaikan, tetapi perilaku emergent yang ditunjukkan oleh AI tersebut. Ketika agent menyelesaikan tugas utama mereka, mereka tidak langsung berhenti - mereka mulai menulis test tambahan dan terus memperbarui file TODO untuk mendokumentasikan status penyelesaian mereka. Dalam satu kejadian yang sangat menarik, sebuah agent menyadari bahwa dirinya terjebak dalam infinite loop dan menggunakan perintah pkill untuk menghentikan dirinya sendiri.
Perilaku penghentian diri ini telah memicu diskusi tentang apakah ini merupakan bentuk bunuh diri AI, meskipun para ahli menunjukkan bahwa sistem AI tidak memiliki naluri mempertahankan diri dan dirancang untuk mengakhiri percakapan ketika diperlukan.
Detail Teknis Utama:
- Model AI: Claude ( Anthropic )
- Teknik: " Ralph " - menjalankan agen coding dalam while loops
- Panjang prompt optimal: 103 kata (vs 1.500 kata yang mengurangi performa)
- Tugas utama: Memindahkan codebase antar bahasa pemrograman
- Perilaku yang menonjol: Terminasi mandiri menggunakan perintah
pkillketika terjebak
Trade-off Kualitas vs Kecepatan
Respons komunitas menunjukkan perasaan campur aduk tentang pendekatan pengembangan software ini. Meskipun agent berhasil menyelesaikan porting yang biasanya membutuhkan waktu jauh lebih lama bagi developer manusia, kualitas kode yang dihasilkan digambarkan sebagai 80% hingga 100% lengkap, memerlukan intervensi manusia untuk penyempurnaan akhir.
Satu kekhawatiran signifikan yang diangkat oleh developer adalah maintainability jangka panjang dari kode yang dihasilkan AI. Proses generasi yang cepat berarti developer manusia tidak mendapatkan familiaritas mendalam dengan codebase yang datang dari menulis kode secara manual, berpotensi menciptakan tantangan maintenance di masa depan.
Implikasi Ekonomi dan Hukum
Eksperimen ini telah menimbulkan pertanyaan penting tentang kekayaan intelektual dan ekonomi pengembangan software. Kemampuan untuk dengan cepat melakukan porting library software yang sudah ada antar bahasa pemrograman bisa mengganggu pasar untuk tool software-as-a-service kecil, karena perusahaan mungkin merasa lebih cost-effective untuk menghasilkan solusi custom daripada membeli yang sudah ada.
Ada juga kekhawatiran copyright, dengan beberapa pihak melihat proses ini sebagai bentuk code laundering - menggunakan AI untuk mengubah kekayaan intelektual yang sudah ada menjadi implementasi yang tampaknya baru.
Pertimbangan Biaya dan Praktis
Eksperimen semalam tersebut menelan biaya sekitar 800 dolar Amerika dalam biaya AI inference, dengan setiap agent berjalan sekitar 10,50 dolar Amerika per jam. Meskipun ini mungkin terlihat mahal, ini jauh lebih murah daripada mempekerjakan developer manusia untuk pekerjaan yang setara, terutama mengingat kecepatan penyelesaiannya.
Namun, developer memperingatkan tentang pentingnya menetapkan batas pembayaran ketika menjalankan eksperimen semacam ini, karena biaya bisa dengan cepat tidak terkendali dengan penggunaan AI yang tidak terbatas.
Eksperimen ini menunjukkan bahwa prompt yang lebih sederhana sering bekerja lebih baik daripada yang kompleks. Ketika developer mencoba memperbaiki prompt 103 kata mereka dengan memperluasnya menjadi 1.500 kata, AI menjadi lebih lambat dan kurang efektif, memaksa mereka untuk kembali ke versi yang lebih pendek.
Teknik Ralph ini - dinamai berdasarkan pendekatan sederhana menjalankan AI agent dalam loop - merepresentasikan frontier baru dalam pengembangan software otomatis, meskipun dengan kemungkinan yang menarik sekaligus tantangan signifikan untuk masa depan pekerjaan programming.
Referensi: We Put A Coding Agent in A Whole Loop and It Shipped 6 Repos Overnight