Sebuah ekstensi SQLite baru bernama sqlite-vector telah muncul, menjanjikan kemampuan pencarian vektor yang lebih cepat bagi pengembang yang bekerja dengan embeddings dan pencarian similaritas. Namun, proyek ini telah memicu perdebatan sengit di komunitas bukan karena keunggulan teknisnya, melainkan karena pendekatan lisensinya yang mengaburkan batas antara perangkat lunak open source dan proprietary.
Ekstensi sqlite-vector dibuat untuk mengatasi keterbatasan dalam solusi pencarian vektor SQLite yang sudah ada. Pilihan saat ini seperti sqlite-vec memerlukan pengaturan virtual table yang kompleks, sementara implementasi HNSW milik libsql bisa memakan waktu berjam-jam untuk membangun indeks. Ekstensi baru ini bertujuan menyediakan jalan tengah dengan pencarian brute-force yang dioptimalkan yang dapat menangani jutaan vektor secara efisien pada perangkat keras biasa seperti laptop dan server kecil.
Kebingungan Lisensi Menciptakan Reaksi Balik Komunitas
Isu paling kontroversial seputar sqlite-vector adalah strategi lisensinya. Meskipun para pengembang mengklaim bahwa ekstensi ini sepenuhnya gratis untuk proyek open-source, ekstensi ini menggunakan Elastic License 2.0 dengan tambahan grant untuk penggunaan open-source. Pendekatan ini telah menuai kritik tajam dari komunitas pengembang, yang berargumen bahwa menyebut proyek ini sebagai open source adalah menyesatkan.
Masalah inti terletak pada kompatibilitas lisensi. Bahkan dengan tambahan grant yang memungkinkan penggunaan dalam proyek open-source, pengembang tidak dapat melisensikan ulang ekstensi ini di bawah lisensi open-source standar seperti Apache 2.0 atau MIT. Ini berarti bahwa proyek open-source sejati yang menggabungkan sqlite-vector akan kehilangan status open-source mereka, menciptakan efek kontaminasi lisensi.
Jika proyek open source saya menggabungkan aspek dari proyek ini, mereka tidak lagi open source!
Anggota komunitas telah melabeli pendekatan ini sebagai source available daripada benar-benar open source, mengkritiknya sebagai upaya untuk mendapatkan kredibilitas open-source tanpa kebebasan aktual yang diberikan lisensi open-source.
Perbandingan Lisensi
- sqlite-vec: Berlisensi ganda di bawah Apache 2.0 dan MIT (open source sejati)
- sqlite-vector: Elastic License 2.0 dengan hibah tambahan untuk proyek open-source (source available)
- libsql: Open source tetapi memerlukan pengindeksan berjam-jam untuk implementasi HNSW
Klaim Performa Menunjukkan Potensi
Meskipun ada kontroversi lisensi, performa teknis sqlite-vector tampak mengesankan. Tes benchmark menggunakan 100.000 vektor dengan 384 dimensi pada Apple M1 Pro menunjukkan peningkatan signifikan dibandingkan solusi yang ada. Ekstensi ini mencapai waktu insert 50% lebih cepat dibandingkan sqlite-vec dan performa query 16% lebih cepat dalam operasi standar.
Keuntungan performa sesungguhnya berasal dari fitur kuantisasi ekstensi. Dengan kuantisasi 8-bit diaktifkan, query berjalan tiga kali lebih cepat dari pendekatan standar. Ketika dikombinasikan dengan preloading memori, waktu query turun menjadi di bawah 4 milidetik - sekitar 17 kali lebih cepat dari sqlite-vec sambil mempertahankan akurasi recall yang sempurna. Penggunaan memori tetap wajar pada 37 MB untuk 100.000 vektor, membuatnya cocok untuk lingkungan dengan sumber daya terbatas.
Ekstensi ini juga menyederhanakan desain database dengan memungkinkan vektor disimpan dalam tabel reguler bersama data lain, menghilangkan kebutuhan untuk operasi JOIN yang kompleks yang diperlukan solusi lain.
Perbandingan Performa (100.000 vektor, 384 dimensi)
| Metrik | sqlite-vec | sqlite-vector | sqlite-vector (terkuantisasi) |
|---|---|---|---|
| Waktu insert | 1179.07 ms | 563.04 ms | 563.04 ms |
| Waktu query | 67.84 ms | 56.65 ms | 17.44 ms |
| Penggunaan memori | N/A | N/A | 37.38 MB |
| Recall@20 | N/A | N/A | 1.0000 (sempurna) |
Kekhawatiran Merek Dagang Menambah Lapisan Lain
Selain masalah lisensi, proyek ini telah menimbulkan kekhawatiran atas penggunaan merek dagang SQLite . Para pengembang beroperasi di bawah domain sqlite.ai dan nama perusahaan SQLite Cloud, Inc., yang menimbulkan kekhawatiran tentang potensi kebingungan konsumen. Namun, tim tersebut mengklaim memiliki dukungan dari penulis asli SQLite , Dr. Richard Hipp , dan hak penuh untuk menggunakan nama SQLite .
Solusi Alternatif Tetap Populer
Mengingat kekhawatiran lisensi, banyak pengembang tetap menggunakan alternatif yang ada. Ekstensi sqlite-vec , meskipun lebih lambat dalam benchmark, menawarkan lisensi open-source sejati di bawah lisensi Apache 2.0 dan MIT . Anggota komunitas juga mencatat bahwa keterbatasan sqlite-vec tidak separah yang digambarkan awalnya, dengan pembaruan terbaru memungkinkan panggilan fungsi jarak langsung tanpa memerlukan virtual table terpisah.
Kontroversi sqlite-vector menyoroti ketegangan yang sedang berlangsung antara keberlanjutan komersial dan prinsip open-source dalam ruang alat pengembang. Meskipun peningkatan performa ekstensi ini patut dicatat, pendekatan lisensinya telah menciptakan hambatan untuk adopsi yang mungkin membatasi dampaknya di komunitas open-source.
Referensi: The State of Vector Search in SQLite