Proyek ambisius seorang developer untuk mengotomatisasi dokumentasi perangkat lunak menggunakan AI telah memicu perdebatan tentang kesiapan sistem semacam itu untuk lingkungan produksi. Sistem ini menggunakan pencarian vektor dan prompt AI untuk secara otomatis menghasilkan dokumen persyaratan, spesifikasi teknis, dan rencana pengujian dari user stories, namun umpan balik komunitas menyoroti kesenjangan kritis dalam penilaian kualitas.
Komponen Arsitektur Sistem:
- Orkestrasi cloud flow Power Automate
- Integrasi Azure DevOps untuk pemicu user story
- Google Gemini AI untuk pembuatan konten
- Azure AI Search untuk pengambilan kode berbasis vektor
- Panggilan REST API langsung untuk integrasi platform
Validasi Kualitas yang Hilang Muncul sebagai Kekhawatiran Utama
Isu paling mendesak yang diangkat oleh komunitas teknologi berpusat pada kurangnya penilaian kualitas yang ketat. Para kritikus menunjukkan bahwa meskipun sistem tampak fungsional, data yang tidak memadai tentang seberapa sering sistem menghasilkan spesifikasi yang salah atau tidak lengkap. Developer mengakui keterbatasan ini, menyatakan sistem mencapai sekitar 80% konsistensi berdasarkan pengujian awal, dengan rencana untuk tinjauan arsitek sebelum penugasan developer.
Hal ini menimbulkan pertanyaan yang lebih luas tentang validasi AI dalam pengembangan perangkat lunak. Banyak organisasi mengimplementasikan alat AI berdasarkan metrik keberhasilan tingkat permukaan tanpa menguji secara menyeluruh untuk akurasi atau kelengkapan. Risikonya menjadi sangat akut ketika spesifikasi yang dihasilkan AI terlihat meyakinkan tetapi mengandung kesalahan halus yang dapat mengarahkan seluruh upaya pengembangan ke arah yang salah.
Metrik Kualitas yang Dilaporkan:
- 80% konsistensi output di berbagai kali menjalankan
- 20% variasi termasuk saran perubahan tambahan
- Memerlukan tinjauan arsitek sebelum penugasan pengembang
- Belum diuji untuk volume produksi skala besar
Keterbatasan Embedding dan Pendekatan Alternatif
Diskusi teknis mengungkapkan kekhawatiran tentang ketergantungan berat pada vector embeddings untuk konteks kode. Anggota komunitas merujuk pada alternatif yang muncul untuk pendekatan Retrieval Augmented Generation (RAG) tradisional, menunjukkan bahwa solusi berbasis embedding mungkin memiliki keterbatasan inheren untuk codebase yang kompleks. Developer menyatakan keterbukaan untuk mengeksplorasi alternatif ini, menunjukkan bahwa bidang ini masih berkembang dengan cepat.
Pengujian Konsistensi Mengungkapkan Masalah Variabilitas
Ketika ditanya tentang konsistensi output, developer mengungkapkan bahwa menjalankan user story yang sama beberapa kali menghasilkan hasil yang bervariasi, dengan hanya 80% konsistensi di seluruh run. Variasi 20% yang tersisa mencakup saran untuk perubahan tambahan, yang bisa berupa wawasan berharga atau inkonsistensi yang bermasalah tergantung pada konteks.
Sungguh menakjubkan kita telah sampai sejauh ini dengan LLM dan semua orang percaya bahwa orang lain benar-benar telah memvalidasi klaim mereka bahwa LLM mereka menghasilkan output yang valid.
Output yang Dihasilkan:
- Dokumen persyaratan dengan spesifikasi teknis
- Rencana pengujian dan strategi testing
- Tugas pengembangan terstruktur untuk Azure DevOps
- Diagram arsitektur Mermaid
- Integrasi dokumentasi Wiki
Kesiapan Produksi Masih Dipertanyakan
Meskipun pencapaian teknis, sistem masih dalam tahap eksperimental. Developer mengakui bahwa sistem belum siap untuk produksi dan memerlukan pengawasan manusia di beberapa tahap. Hal ini menyoroti pola umum dalam alat AI di mana demonstrasi yang mengesankan tidak langsung diterjemahkan ke sistem produksi yang andal.
Proyek ini mendemonstrasikan baik potensi maupun keterbatasan saat ini dari AI dalam alur kerja pengembangan perangkat lunak. Meskipun otomatisasi tugas dokumentasi yang membosankan menarik, teknologi ini masih memerlukan pengawasan dan validasi manusia yang signifikan untuk memastikan kualitas dan akurasi dalam lingkungan profesional.
Referensi: Grounding AI in Reality: How Vector Search on Our Codebase Transformed Our SDLC Automation