Sebuah tool Ruby baru bernama Top Secret telah muncul untuk membantu developer menyaring informasi sensitif dari teks sebelum mengirimkannya ke chatbot dan large language model. Tool ini menggabungkan regular expression dengan named-entity recognition (NER) untuk mengidentifikasi dan menghapus data personal seperti nomor kartu kredit, email, dan detail sensitif lainnya dari teks bebas.
Arsitektur Teknis:
- Menggunakan model MITIE ( MIT Information Extraction ) untuk Named Entity Recognition
- Menggabungkan pola regex dengan entitas NER untuk penyaringan
- Menyediakan fungsionalitas pemetaan untuk memulihkan nilai yang telah disaring
- Lebih ringan dibandingkan solusi berbasis LLM (word embeddings + klasifier SVM )
Kekhawatiran Performa Mendominasi Diskusi
Komunitas developer telah mengajukan pertanyaan signifikan tentang performa tool ini di dunia nyata. Pengguna khususnya khawatir tentang waktu inferensi, terutama di lingkungan produksi yang menangani percakapan panjang. Tool ini menggunakan model MITIE untuk NER, yang lebih ringan dibandingkan language model penuh namun tetap memerlukan sumber daya komputasi untuk setiap operasi penyaringan.
MITIE (MIT Information Extraction) menggunakan word embedding dengan classifier SVM daripada neural network yang berat, membuatnya lebih cepat namun berpotensi kurang akurat dibandingkan pendekatan modern.
Keterbatasan Utama yang Teridentifikasi:
- Akurasi NER bervariasi secara signifikan di berbagai domain
- Kekhawatiran performa untuk lingkungan produksi dengan volume tinggi
- Dokumentasi evaluasi MITIE terakhir diperbarui sekitar 10 tahun yang lalu
- Tidak menjamin deteksi data sensitif 100%
Keterbatasan Akurasi Memicu Perdebatan
Anggota komunitas telah menyoroti bahwa model NER sering kesulitan dengan akurasi di berbagai domain. Halaman evaluasi MITIE yang mendasari belum diperbarui selama hampir satu dekade, menimbulkan pertanyaan tentang efektivitas model dengan tipe dan format data saat ini. Seorang developer menekankan poin penting tentang kemampuan tool ini:
Ini bagus tetapi tidak mencegah; ini mengurangi kemungkinan. NER tidak 100% performan. Sangat baik dalam banyak kasus, tetapi gunakan dengan hati-hati!
Solusi Alternatif dan Kasus Penggunaan
Diskusi telah mengungkap berbagai pendekatan alternatif dan aplikasi potensial. Beberapa developer telah membangun tool serupa dalam bahasa pemrograman lain, sementara yang lain menyarankan solusi tingkat database seperti ekstensi anonymizer PostgreSQL. Menariknya, lembaga pemerintah seperti US Marshalls telah menunjukkan minat pada teknologi redaksi otomatis untuk alur kerja mereka.
Komunitas juga telah mengeksplorasi aplikasi yang lebih ambisius, seperti filter screen sharing real-time yang dapat mencegah kebocoran data tidak sengaja selama panggilan video atau live stream, meskipun tantangan teknis untuk implementasi semacam itu masih signifikan.
Percakapan ini mencerminkan kebutuhan industri yang lebih luas akan tool perlindungan data yang lebih baik seiring integrasi AI dan chatbot menjadi lebih umum. Meskipun Top Secret menawarkan solusi praktis, umpan balik komunitas menunjukkan bahwa organisasi harus melihatnya sebagai satu lapisan dalam strategi perlindungan data yang komprehensif daripada solusi lengkap.
Referensi: Introducing Top Secret