Dunia publikasi akademik sedang menghadapi badai yang sempurna. Tingkat penerimaan yang rendah di konferensi AI terkemuka menciptakan penumpukan pengajuan yang masif, sementara alat kecerdasan buatan memudahkan pembuatan makalah penelitian yang meragukan. Kombinasi ini mendorong sistem peer review tradisional ke titik batasnya.
Matematika di Balik Kegilaan Ini
Analisis terbaru mengungkapkan pola yang mengkhawatirkan dalam konferensi ilmu komputer. Ketika tingkat penerimaan turun dari 35% menjadi 20%, total jumlah pengajuan tidak berkurang - justru meningkat secara dramatis. Hal ini terjadi karena makalah yang ditolak diajukan kembali berulang kali, menciptakan inflasi buatan pada kumpulan pengajuan. Hasilnya adalah konferensi dengan 20.000+ pengajuan tidak melihat 20.000 ide penelitian baru, melainkan kumpulan makalah yang sama berputar melalui sistem berkali-kali.
Beban review tumbuh secara eksponensial. Sebuah konferensi yang menerima 20% dari pengajuan harus mereview sekitar lima kali lebih banyak makalah daripada konferensi yang menerima jumlah absolut yang sama pada tingkat 35%. Realitas matematis ini berarti bahwa menurunkan tingkat penerimaan tidak meningkatkan kualitas - hanya menciptakan lebih banyak pekerjaan untuk semua pihak yang terlibat.
Analisis Dampak Tingkat Penerimaan
- Mengurangi tingkat penerimaan dari 35% menjadi 20% meningkatkan ukuran kumpulan pengajuan sekitar 46%
- Jumlah absolut makalah yang diterima tetap sama terlepas dari tingkat penerimaan
- Beban peninjauan meningkat secara proporsional sebagai N/p (makalah baru dibagi tingkat penerimaan)
- Pengabaian makalah buruk meningkat dari sekitar 60% menjadi 77%, tetapi rata-rata pengabaian makalah meningkat dari 4% menjadi 24%
Masalah LLM Muncul
Mahasiswa pascasarjana semakin banyak menggunakan large language model untuk membantu menulis makalah mereka, seringkali dengan hasil yang buruk. Seorang pengamat mencatat menyaksikan seorang mahasiswa mengajukan makalah konferensi yang dipenuhi dengan materi yang sepenuhnya dibuat-buat dan kutipan yang tidak ada, semuanya dihasilkan oleh AI. Makalah tersebut terlihat dapat diterima pada pandangan pertama, tetapi hancur saat diteliti lebih lanjut.
Pertama, model-model ini sama sekali tidak baik dalam penulisan teknis. Mereka tidak memiliki pemahaman tentang bobot sebuah kalimat, mereka hanya suka berbicara panjang lebar.
Kemudahan menghasilkan konten yang terdengar masuk akal tetapi tidak berharga secara ilmiah membanjiri konferensi dengan pengajuan berkualitas rendah. Ini menciptakan siklus setan di mana reviewer manusia menjadi kewalahan dan memberikan review berkualitas rendah, yang pada gilirannya membuat proses penerimaan lebih acak dan memaksa penulis untuk mengajukan lebih banyak makalah untuk meningkatkan peluang mereka.
 |
|---|
| Tantangan penulisan berbantuan AI yang disorot dalam percakapan humoris tentang pengajuan akademik |
Insentif Karir Mendorong Krisis
Akar penyebabnya meluas melampaui teknologi hingga insentif karir fundamental dalam dunia akademik. Universitas dan lembaga pendanaan terus mengevaluasi peneliti terutama berdasarkan di mana mereka menerbitkan daripada apa yang mereka kontribusikan. Ini menciptakan tekanan untuk menargetkan hanya venue paling bergengsi, terlepas dari apakah karya tersebut benar-benar layak mendapat tingkat pengakuan tersebut.
Mantra satu makalah per tahun di universitas riset mendorong mahasiswa dan fakultas untuk memotong-motong karya mereka menjadi beberapa publikasi daripada fokus pada kontribusi yang substansial. Banyak makalah saat ini mewakili apa yang dulunya akan dibagikan sebagai repositori kode open source, tetapi sekarang memerlukan proses publikasi akademik penuh untuk mendapat pengakuan.
Batas Fisik Bertemu Permintaan Digital
Konferensi menghadapi kendala nyata yang tidak diperhitungkan oleh model matematis. Bahkan sesi poster memiliki keterbatasan ruang, dan menciptakan konferensi tingkat atas baru dari nol membutuhkan waktu puluhan tahun untuk membangun reputasi. Meskipun beberapa pihak menyarankan mengenakan biaya pengajuan atau menerapkan hambatan lain, solusi ini berisiko menciptakan rintangan finansial bagi peneliti dari institusi yang kurang kaya.
Komunitas sedang mengeksplorasi alternatif seperti konferensi terfederasi dan sistem review terdistribusi, tetapi perubahan datang perlahan di institusi akademik. Sementara itu, kualitas makalah yang diterima maupun ditolak terus menurun karena sistem berjuang di bawah beban pertumbuhan eksponensial dalam pengajuan.
Parameter Model Pengajuan Konferensi
- Diasumsikan 5.000 makalah baru per siklus konferensi
- Distribusi kualitas makalah: 15% bagus, 70% rata-rata, 15% buruk
- Rasio probabilitas penerimaan: 15:5:1 (bagus:rata-rata:buruk)
- Makalah ditinggalkan setelah T=6 siklus penolakan
- Sistem mencapai keseimbangan setelah T+1 iterasi
Jalan ke Depan
Beberapa solusi potensial muncul dari diskusi komunitas. Eksperimen review cepat di luar konferensi formal dapat membantu iterasi pada model baru lebih cepat. Mengurangi jumlah reviewer per makalah dari 4-5 saat ini dapat membebaskan waktu reviewer untuk evaluasi yang lebih thoughtful. Yang paling penting, komunitas akademik perlu menilai secara jujur apa yang mereka hargai dan inginkan dari sistem publikasi.
Krisis saat ini mewakili lebih dari sekadar masalah pertumbuhan - ini adalah ketidaksesuaian fundamental antara bagaimana karir akademik dievaluasi dan bagaimana pengetahuan ilmiah seharusnya dibagikan. Sampai insentif ini selaras, baik peneliti manusia maupun konten yang dihasilkan AI akan terus membanjiri sistem yang dirancang untuk komunitas ilmiah yang jauh lebih kecil dan lebih kolaboratif.
Referensi: Queueing to publish in AI (and CS)