Sebuah tool review manuskrip ilmiah bertenaga AI bernama Rigorous telah diluncurkan dengan janji untuk membuat penerbitan akademik lebih cepat dan transparan. Layanan berbasis cloud ini menawarkan analisis manuskrip gratis, menghasilkan laporan PDF komprehensif dalam waktu 1-2 hari kerja. Namun, pengguna awal mengalami masalah teknis yang signifikan dan komunitas akademik masih terbagi mengenai peran AI dalam peer review.
Masalah Teknis Mengganggu Peluncuran Awal
Pengguna yang mencoba mengunggah manuskrip ke platform Rigorous mengalami berbagai kesulitan teknis. Seorang peneliti melaporkan mengalami error HTTP 413 dan kegagalan parsing JSON saat mencoba mengirimkan paper penelitian berukuran 9,4 MB. Pesan error tersebut menunjukkan masalah timeout server dan keterbatasan ukuran file yang mungkin mempengaruhi keandalan layanan selama fase testing.
Para pengembang mengakui bahwa ini adalah masalah tahap awal, menjelaskan bahwa workflow inti saat ini membutuhkan sekitar 8 menit secara lokal tetapi dapat dioptimalkan menjadi 1-2 menit. Mereka mengatributkan waktu tunggu 1-2 hari saat ini kepada langkah-langkah review manual dan langkah-langkah kontrol biaya sementara mereka mengatasi masalah teknis.
Metrik Kinerja Saat Ini:
- Waktu pemrosesan lokal: ~8 menit (dapat dioptimalkan menjadi 1-2 menit)
- Waktu penyelesaian layanan cloud: 1-2 hari kerja
- Batasan ukuran file: Masalah dilaporkan pada file berukuran 9,4 MB
- Status saat ini: Fase pengujian gratis
Komunitas Mengangkat Kekhawatiran Kualitas dan Kepercayaan
Komunitas akademik telah mengekspresikan reaksi beragam terhadap peer review berbantuan AI. Beberapa peneliti khawatir tentang kualitas feedback yang dihasilkan AI, terutama mengingat proliferasi terbaru review yang ditulis AI di platform akademik. Kritikus berargumen bahwa peer review yang bermakna memerlukan keahlian mendalam dan wawasan yang tidak dapat diberikan oleh sistem AI saat ini.
Poin dari review adalah untuk mendapatkan wawasan/komentar mendalam dari ahli industri yang memiliki pengetahuan DI ATAS LLM. Standarnya memang sangat rendah, saya tahu, tetapi kita harus berbuat lebih baik sebagai komunitas penelitian.
Masalah kepercayaan juga muncul terkait transparansi platform. Pengguna mencatat kurangnya kebijakan privasi yang jelas, informasi kontak, dan detail tentang praktik penanganan data. Para pengembang merespons dengan mengakui bahwa mereka dalam mode MVP awal dan berjanji untuk menambahkan informasi kontak dan kebijakan yang tepat.
Data Training Terbatas Menghambat Pengembangan AI
Tantangan signifikan yang dihadapi sistem peer review AI adalah kelangkaan data training berkualitas. Laporan peer review historis jarang dipublikasikan, dan baru-baru ini beberapa jurnal mulai membuat laporan review publik. Kurangnya data training komprehensif ini dapat membatasi efektivitas sistem AI dalam memberikan feedback yang bermakna.
Para pengembang sedang mengeksplorasi pendekatan alternatif, termasuk menganalisis perbedaan antara preprint dan versi final yang dipublikasikan untuk memahami perubahan apa yang biasanya didorong oleh peer review. Namun, mereka mengakui bahwa bahkan pendekatan ini mungkin tidak menangkap feedback terbaik yang mungkin, karena komentar reviewer manusia terkadang bisa tidak konsisten atau tidak masuk akal.
Kesimpulan
Sementara Rigorous bertujuan untuk mengatasi masalah nyata dalam penerbitan akademik dengan membuat peer review lebih cepat dan dapat diakses, peluncuran awalnya mengungkap tantangan yang dihadapi tool akademik bertenaga AI. Masalah teknis, skeptisisme komunitas, dan pertanyaan fundamental tentang kemampuan AI untuk memberikan feedback ilmiah yang bermakna menunjukkan bahwa adopsi luas mungkin memerlukan perbaikan signifikan dalam teknologi dan langkah-langkah membangun kepercayaan.
Para pengembang tool tampak responsif terhadap feedback dan sedang bekerja untuk mengatasi kekhawatiran, tetapi penerimaan hati-hati dari komunitas akademik menyoroti standar tinggi yang diharapkan untuk sistem yang dapat mempengaruhi keputusan penerbitan ilmiah.
Referensi: Rigorous - Al-Powered Scientific Manuscript Analysis