Eksperimen seorang developer dengan GPT-5-Codex untuk penelitian AI telah memicu perdebatan tentang kemampuan dan keterbatasan saat ini dari alat penelitian berbantuan AI. Proyek tersebut melibatkan pelatihan model bahasa kecil dalam jangka waktu lima menit, mengungkap baik potensi maupun batasan dari alat AI saat ini.
Struktur Biaya:
- Penggunaan GPT-5-Codex : $200 USD per bulan untuk riset intensif
- Konsumsi token: Diperlukan restart setiap sejuta token
- Batasan waktu pelatihan: Maksimal 5 menit untuk pelatihan model
Pemeriksaan Realitas: Penelitian Amatir vs Profesional
Respons komunitas menyoroti perbedaan penting yang diabaikan oleh eksperimen asli. Beberapa praktisi berpengalaman menunjukkan bahwa perbandingan tersebut tidak terlalu bermakna, karena melibatkan seseorang tanpa latar belakang formal penelitian AI yang bersaing melawan sistem AI pada tugas yang relatif sederhana. Pekerjaan yang dijelaskan dikarakterisasi sebagai berada pada level mahasiswa sarjana di kursus pemrosesan bahasa alami pertama mereka daripada penelitian yang sesungguhnya.
Pengamatan ini menimbulkan pertanyaan penting tentang bagaimana kita mengevaluasi kemampuan AI. Ketika alat AI mengungguli amatir di bidang khusus, hal itu tidak selalu menunjukkan bahwa pekerjaan level profesional terancam. Sebaliknya, ini menunjukkan bahwa AI saat ini paling efektif dalam mengangkat dasar - membantu pemula mencapai kompetensi dasar lebih cepat.
Perbandingan Hasil Teknis:
- Pendekatan manual asli: transformer 1,8M parameter, perplexity 9+
- Hasil terbaik dengan bantuan AI: perplexity 8,53 (3 layer, 4 head, dimensi 1441)
- Metode distilasi N-gram: Output kualitatif terbaik dengan struktur cerita yang koheren
- Pendekatan shallow fusion: perplexity 7,38 tetapi kualitas teks buruk
Implikasi Ekonomi dari Pekerjaan Berbantuan AI
Kekhawatiran signifikan muncul seputar dampak ekonomi dari alat-alat ini. Anggota komunitas menyatakan kekhawatiran tentang devaluasi keterampilan dan perpindahan pekerjaan, terutama untuk profesional pertengahan karir. Diskusi mengungkap kecemasan tentang skenario di mana manajemen mungkin mengurangi ukuran tim berdasarkan persepsi peningkatan produktivitas AI, sementara pekerja yang tersisa menghadapi beban kerja yang meningkat dalam meninjau kode yang dihasilkan AI daripada terlibat dalam pemecahan masalah kreatif.
Beberapa orang melihatnya sebagai cara untuk menghilangkan masalah sulit sehingga mereka dapat fokus pada pekerjaan membosankan. Apakah Anda suka coding, tapi benci code review? Tebak apa yang akan lebih sering Anda lakukan sekarang!
Biaya 200 dolar Amerika per bulan untuk penggunaan AI intensif juga menyoroti kekhawatiran aksesibilitas, menunjukkan bahwa penelitian berbantuan AI yang efektif mungkin menjadi hak istimewa yang terutama tersedia untuk individu atau organisasi yang didanai dengan baik.
Keterbatasan Teknis dan Masalah Kepercayaan
Eksperimen mengungkap beberapa keterbatasan teknis yang telah dihadapi pengguna berpengalaman di berbagai alat penelitian AI. Banyak yang melaporkan bahwa sistem AI berkinerja baik pada awalnya tetapi akhirnya mencapai batas yang memerlukan intervensi dan debugging manusia. Pola ini menunjukkan bahwa alat AI saat ini paling efektif untuk setup dan eksplorasi awal daripada pemecahan masalah yang berkelanjutan dan kompleks.
Kepercayaan muncul sebagai isu penting lainnya, terutama dengan sistem penelitian AI yang memiliki akses terbatas ke sumber data tertentu atau menunjukkan kemampuan penalaran yang tidak konsisten. Pengguna mencatat masalah dengan sistem AI yang menggabungkan sumber yang tidak dapat diandalkan atau gagal membedakan antara informasi ilmiah yang sah dan pseudosains, terutama di bidang seperti kesehatan dan kedokteran.
Alur Kerja Penelitian AI:
- Codex memodifikasi skrip pelatihan dan menjalankan 3-4 eksperimen (~20 menit)
- AI menyarankan 2-3 pendekatan selanjutnya berdasarkan hasil
- Manusia memilih pendekatan atau sesekali menyarankan alternatif
- Proses berulang dengan konsultasi berkala GPT-5-Pro
Masa Depan Penelitian Berbantuan AI
Meskipun ada keterbatasan, beberapa praktisi melaporkan pengalaman positif dengan vibe coding dan alur kerja penelitian berbantuan AI. Kuncinya tampaknya adalah memahami alat-alat ini sebagai peningkat produktivitas untuk tugas-tugas spesifik daripada pengganti keahlian mendalam. Aplikasi yang paling sukses tampaknya melibatkan penggunaan AI untuk prototyping cepat, parameter sweeping, dan menangani tugas coding rutin sementara manusia fokus pada strategi tingkat tinggi dan validasi.
Perdebatan ini pada akhirnya mencerminkan pertanyaan yang lebih luas tentang pengembangan dan penerapan AI. Meskipun alat saat ini menunjukkan potensi untuk mempercepat aspek tertentu dari penelitian dan pengembangan, mereka masih jauh dari kemampuan penelitian otonom yang mungkin disarankan oleh beberapa materi pemasaran.