Server pra-cetak akademik arXiv telah menerapkan perubahan kebijakan signifikan untuk kategori ilmu komputernya, yang mengharuskan artikel tinjauan dan makalah posisi untuk menyelesaikan proses peninjauan sejawat yang berhasil di jurnal atau konferensi sebelum dikirimkan. Langkah ini, yang diumumkan pada akhir 2024, muncul ketika platform tersebut menghadapi banjir konten berkualitas rendah yang tidak terkendali yang diperkuat oleh model bahasa besar.
Sementara arXiv menekankan bahwa ini bukan perubahan kebijakan formal melainkan penegakan pedoman yang sudah ada secara lebih ketat, komunitas akademik telah ramai membahas apa artinya ini bagi masa depan komunikasi ilmiah di era konten yang dihasilkan AI.
Inti Masalah: LLM Membanjiri arXiv dengan Konten Berkualitas Rendah
Moderator ilmu komputer arXiv menemukan diri mereka kewalahan dengan ratusan artikel tinjauan dan makalah posisi setiap bulannya, banyak di antaranya yang tampak seperti sampah yang dihasilkan AI. Makalah-makalah ini biasanya tidak menawarkan lebih dari sekadar bibliografi beranotasi tanpa pembahasan substansial mengenai masalah penelitian terbuka atau wawasan baru. Moderator sukarelawan platform, yang sebelumnya menerima artikel tinjauan berkualitas tinggi atas kebijaksanaan mereka, tidak lagi dapat mengelola volumenya sambil mempertahankan misi inti mereka untuk berbagi makalah penelitian yang sah dengan cepat.
Komunitas mengakui ini sebagai respons logis terhadap masalah yang berkembang. Seperti yang dicatat seorang komentator, LLM akan dengan senang hati menghasilkan kedua [makalah posisi dan tinjauan] ini karena mereka membutuhkan nol kontribusi teknis, kode yang berfungsi, hasil yang divalidasi, dll. Ini menciptakan badai sempurna di mana menghasilkan konten yang terlihat akademis menjadi hal yang sepele, membanjiri sistem yang dibangun dengan asumsi itikad baik tentang usaha penulis.
Statistik Pengajuan arXiv (Oktober 2024)
- Total pengajuan: 26.000 makalah
- Kategori Ilmu Komputer: Volume pengajuan tertinggi
- Artikel tinjauan/makalah posisi: Ratusan diterima setiap bulan
Komunitas Terbelah mengenai Solusi dan Implikasinya
Reaksi terhadap pendekatan baru arXiv mengungkap perpecahan mendalam dalam komunitas akademik. Beberapa menyambut baik langkah ini sebagai kontrol kualitas yang diperlukan, sementara yang lain khawatir tentang konsekuensi yang tidak diinginkan bagi peneliti yang sah.
Pendukung berargumen bahwa ini akan membantu mempertahankan nilai arXiv sebagai sumber daya. arXiv telah lama menderita dari makalah promosi diri yang berkualitas buruk di CS, amat seorang komentator, mencatat bahwa masalah tersebut sudah ada sebelum LLM tetapi telah diperburuk secara dramatis olehnya. Perubahan ini seharusnya membantu pembaca menemukan konten berharga sekaligus membebaskan moderator untuk fokus pada makalah penelitian yang memajukan penemuan ilmiah.
Namun, para kritikus mengungkapkan kekhawatiran tentang memperlambat diseminasi cepat yang membuat server pra-cetak berharga. Sebagian keuntungan arXiv adalah bahwa Anda dapat memiliki makalah tersebut secara instan sebagai pra-cetak, seorang komentator menunjukka, menyoroti bagaimana penerimaan jurnal atau konferensi yang wajib memperkenalkan penundaan yang signifikan. Yang lain khawatir ini hanya memindahkan hambatan pengajuan ke konferensi dan jurnal yang sudah kelebihan beban.
Solusi Alternatif yang Diusulkan oleh Komunitas
Diskusi ini telah memicu pemikiran kreatif tentang bagaimana menangani masalah yang mendasarinya. Beberapa komentator mengusulkan sistem reputasi di mana peneliti dapat mendukung makalah, menciptakan alternatif web-of-trust untuk peninjauan sejawat tradisional. Yang lain menyarankan biaya pengajuan kecil sebagai pencegah spam atau bahkan hukuman pidana untuk publikasi yang dihasilkan AI yang tidak diungkapkan.
Saya agak berharap adanya sistem web-of-trust untuk menggantikan peninjauan sejawat. Siapa pun dapat mendukung sebuah artikel. Anda dapat memutuskan endorser mana yang Anda percayai, dan melakukan beberapa perhitungan jaringan untuk menemukan apa yang menurut Anda layak dibaca.
Usulan sistem dukungan mencerminkan keinginan yang lebih luas untuk penilaian kualitas yang terdesentralisasi, meskipun para kritikus dengan cepat mencatat kerentanan terhadap lingkaran kutipan dan jaringan endorser palsu. Tantangan mendasar tetap membedakan antara keahlian manusia dan konten yang dihasilkan AI yang secara dangkal menyerupai karya akademis.
Implikasi Lebih Luas untuk Publikasi Akademik
Perubahan kebijakan ini menandai momen penting bagi publikasi akademik saat ia beradaptasi dengan teknologi AI. Meskipun saat ini terbatas pada kategori CS arXiv, pengumuman tersebut mencatat kategori lain mungkin mengikutinya jika mereka mengalami banjir pengajuan serupa yang didorong oleh LLM. Situasi ini menyoroti bagaimana alat AI memaksa penilaian ulang terhadap praktik akademis yang sudah lama ada dan mekanisme kontrol kualitas.
Ketegangan inti terletak antara diseminasi terbuka dan jaminan kualitas. arXiv membangun reputasinya pada memungkinkan berbagi penelitian yang cepat sebelum peninjauan sejawat formal, tetapi kini menghadapi kenyataan bahwa keterbukaan ini dapat dieksploitasi oleh konten yang dihasilkan AI. Seperti yang dikatakan seorang komentator dengan singkat, Spammer merusak segalanya. Ini memberi para spammer pengganda gaya.
Komunitas akademik kini menghadapi tantangan untuk mengembangkan sistem baru yang mempertahankan manfaat pra-cetak terbuka sekaligus menerapkan pengaman yang efektif terhadap konten yang dihasilkan AI. Baik melalui solusi teknologi, perubahan kebijakan, atau pergeseran budaya, percakapan yang dipicu oleh keputusan arXiv kemungkinan akan membentuk publikasi akademik untuk tahun-tahun mendatang.
Ujian terakhir adalah apakah langkah-langkah ini berhasil menyaring konten AI berkualitas rendah tanpa menghambat peneliti yang sah secara tidak semestinya, terutama mereka yang berada di luar institusi akademik tradisional yang paling diuntungkan dari platform penerbitan terbuka.
Referensi: Attention Authors: Updated Practice for Review Articles and Position Papers in arXiv CS Category