DeepWiki , sebuah alat bertenaga AI yang secara otomatis menghasilkan dokumentasi untuk repositori GitHub , mendapat kritik dari para maintainer open source yang mengatakan bahwa alat ini menghasilkan informasi yang menyesatkan tentang proyek mereka. Alat ini, yang dibuat oleh Copilotric (tim di balik software engineer AI viral Devin ), mengubah repositori GitHub apa pun menjadi situs dokumentasi bergaya wiki yang dapat dinavigasi.
Fitur DeepWiki :
- Mengonversi repositori GitHub menjadi dokumentasi bergaya wiki yang dapat dinavigasi
- Menawarkan dua mode: Fast (jawaban iteratif dari grafik kode) dan Deep Research (pemindaian multi-file)
- Menyediakan jawaban yang berdasar dengan kutipan empat tingkat kembali ke file sumber
- Tersedia melalui antarmuka web atau integrasi server MCP dengan AI IDE
- Akses API gratis untuk pengembang
Masalah Akurasi Menghantui Proyek-Proyek Populer
Beberapa maintainer telah menemukan kesalahan signifikan dalam dokumentasi yang dihasilkan secara otomatis oleh DeepWiki . Proyek LibreOffice mendapati dirinya harus berurusan dengan informasi sistem build yang sepenuhnya salah, dengan DeepWiki secara keliru mengklaim bahwa proyek tersebut menggunakan Buck sebagai sistem build utamanya. Demikian pula, maintainer proyek-proyek yang lebih kecil melaporkan menemukan deskripsi yang secara halus tidak akurat dan dapat menyesatkan developer berbulan-bulan ke depan.
Masalah akurasi tampaknya berasal dari cara AI menginterpretasikan struktur kode dan konvensi penamaan. Dalam beberapa kasus, alat ini terfokus pada file-file besar atau konfigurasi yang sudah usang, melewatkan komponen-komponen penting yang tersebar di beberapa file kecil. Untuk proyek kompleks seperti LLVM , pengguna melaporkan bahwa DeepWiki sepenuhnya mengabaikan alat-alat penting seperti TableGen sambil terlalu menekankan komponen yang kurang penting.
Masalah yang Dilaporkan:
- LibreOffice: Salah mengidentifikasi Buck sebagai sistem build utama (sebenarnya menggunakan Make)
- LLVM: Kehilangan komponen kritis seperti TableGen dan InstCombine passes
- Compiler Explorer: Deskripsi file properti yang secara halus tidak akurat
- Umum: Fiksasi pada file besar sambil melewatkan komponen terdistribusi
Dokumentasi Tanpa Izin Menciptakan Kebingungan
Kekhawatiran utama di kalangan developer adalah bahwa DeepWiki menghasilkan dokumentasi untuk repositori publik apa pun tanpa izin dari maintainer. Hal ini menciptakan situasi bermasalah di mana pendatang baru ke sebuah proyek mungkin menemukan dokumentasi yang dihasilkan AI melalui mesin pencari dan menganggapnya sebagai dokumentasi resmi proyek.
Jadi pada akhirnya orang-orang akan percaya bahwa ini adalah dokumentasi resmi...
Masalah ini mencerminkan masalah yang dihadapi komunitas OCaml dan Julia dengan content farm yang membuat materi pembelajaran yang dioptimalkan SEO namun tidak akurat. Maintainer khawatir bahwa dokumentasi DeepWiki bisa mendapat peringkat lebih tinggi dalam hasil pencarian daripada dokumentasi proyek yang sebenarnya, yang menyebabkan kebingungan luas di antara kontributor baru.
Proses Opt-out:
- Tidak ada mekanisme permintaan penghapusan yang jelas tersedia pada awalnya
- Para maintainer melaporkan keberhasilan dengan kontak email langsung
- Beberapa developer mengancam tindakan hukum terkait kekhawatiran misinformasi
- Para pembuat tool merespons permintaan penghapusan yang sopan
Respons Beragam Meski Ada Manfaatnya
Tidak semua umpan balik bersifat negatif. Beberapa developer memuji DeepWiki karena membantu mereka memahami codebase yang tidak familiar dengan cepat dan menghasilkan gambaran arsitektur yang berguna. Kemampuan alat ini untuk menjawab pertanyaan spesifik tentang struktur kode dan menyediakan referensi yang terhubung ke file sumber terbukti berharga untuk kasus penggunaan tertentu.
Namun, bahkan para pendukung mengakui keterbatasannya. Diagram dan penjelasan yang dihasilkan secara otomatis cenderung terlalu tingkat tinggi untuk pekerjaan engineering, kurang presisi yang dibutuhkan untuk tugas pengembangan yang sebenarnya. Pengguna melaporkan bahwa meskipun alat ini dapat memberikan gambaran umum, sering kali melewatkan detail implementasi penting yang dibutuhkan developer.
Tantangan Dokumentasi AI yang Lebih Luas
Kontroversi DeepWiki menyoroti ketegangan yang berkembang dalam komunitas open source tentang alat AI yang beroperasi tanpa izin eksplisit. Meskipun teknologi ini menawarkan manfaat nyata untuk pemahaman kode, masalah akurasi dan kurangnya kontrol maintainer menimbulkan pertanyaan tentang penerapan AI yang bertanggung jawab dalam alat developer.
Untuk saat ini, beberapa maintainer mengambil tindakan sendiri, baik meminta penghapusan proyek mereka atau menambahkan komentar klarifikasi ke kode mereka untuk mencegah kesalahan interpretasi AI. Situasi ini menggarisbawahi perlunya kolaborasi yang lebih baik antara pembuat alat AI dan komunitas open source yang mereka tuju untuk dilayani.
Referensi: DeepWiki: Understand Any Codebase