Swiss AI telah meluncurkan Apertus , sebuah model bahasa open-source baru yang bertujuan mengatasi kekhawatiran yang berkembang tentang kepatuhan hak cipta dan transparansi data dalam pelatihan AI. Model ini hadir dalam versi 70B dan 8B parameter dan merupakan langkah signifikan menuju pengembangan AI yang sepenuhnya transparan.
Spesifikasi Model
- Parameter: Tersedia versi 70B dan 8B
- Data pelatihan: 15T token dengan kurikulum bertahap (web, kode, matematika)
- Panjang konteks: 65.536 token
- Bahasa yang didukung: 1.811 bahasa
- Arsitektur: Transformer decoder dengan fungsi aktivasi xILU
- Perangkat keras pelatihan: 4.096 GPU GH200
Kepatuhan Hak Cipta Menjadi Fokus Utama
Komunitas teknologi secara khusus memfokuskan perhatian pada pendekatan Apertus terhadap data pelatihan. Tidak seperti banyak model komersial yang mengambil konten web tanpa izin eksplisit, Apertus mengklaim menghormati persetujuan opt-out dari pemilik data, bahkan secara retroaktif. Ini berarti jika kreator konten meminta data mereka dihapus, pengembang model akan menghormati permintaan tersebut. Namun, beberapa anggota komunitas mempertanyakan apakah sistem opt-out ini benar-benar menyelesaikan masalah hak cipta, mencatat bahwa hal ini masih menempatkan beban pada kreator konten untuk secara aktif melindungi karya mereka.
Fitur Legal dan Kepatuhan
- Dokumentasi transparansi EU AI Act disediakan
- Dokumentasi Code of Practice tersedia
- Proses permintaan penghapusan PII dan hak cipta telah ditetapkan
- Email kontak: [email protected], [email protected]
- Filter output untuk PII direncanakan (periksa setiap 6 bulan)
- Persetujuan opt-out retrospektif dihormati
Performa Menyamai Model Berusia Satu Tahun
Evaluasi awal menunjukkan Apertus berkinerja sebanding dengan Llama 3.1 milik Meta , yang dirilis sekitar satu tahun lalu. Model ini menunjukkan kemampuan pengetahuan umum yang layak namun tertinggal dalam area khusus seperti tugas coding dan reasoning. Untuk model yang sepenuhnya terbuka dan dilatih dengan data yang patuh, tingkat performa ini merupakan pencapaian yang bermakna, meskipun menyoroti tantangan berkelanjutan untuk menyamai model closed-source yang mungkin menggunakan metode pengumpulan data yang lebih agresif.
Perbandingan Fitur Utama
| Fitur | Apertus | Model Tertutup Pada Umumnya |
|---|---|---|
| Transparansi data pelatihan | Pengungkapan penuh | Proprietary/tidak diungkapkan |
| Kepatuhan hak cipta | Menghormati persetujuan opt-out | Bervariasi/tidak jelas |
| Bobot model | Open source | Tertutup/hanya API |
| Dukungan bahasa | 1.811 bahasa | Biasanya <100 |
| Performa vs Llama 3.1 | Sebanding (umum), tertinggal (kode/penalaran) | Sering kali lebih unggul |
Dukungan Multibahasa yang Masif
Salah satu fitur unggulan Apertus adalah dukungannya untuk lebih dari 1.800 bahasa, menjadikannya salah satu model yang paling beragam secara linguistik yang tersedia. Cakupan bahasa yang luas ini, dikombinasikan dengan jendela konteks 65.536 token, memposisikan model sebagai sangat berharga untuk aplikasi global dan pemrosesan konten bentuk panjang.
Model ini dilatih pada 15 triliun token menggunakan 4.096 GPU GH200 khusus, mendemonstrasikan sumber daya komputasi substansial yang diperlukan untuk pengembangan AI modern. Swiss AI telah berkomitmen untuk merilis tidak hanya bobot model tetapi juga data pelatihan lengkap, resep, dan checkpoint perantara.
Komunitas Menyerukan Standar Data Bersih
Peluncuran ini telah memicu diskusi yang lebih luas tentang kebutuhan akan lebih banyak model yang dilatih pada dataset yang dapat dilacak dan bersih. Seperti yang dicatat oleh seorang pengamat komunitas, ada permintaan yang berkembang untuk alternatif model tertutup yang kemudian ditemukan telah dilatih pada diskusi media sosial dan sumber lain yang meragukan.
Menurut pendapat saya, kita membutuhkan lebih banyak model yang dilatih pada data yang sepenuhnya dapat dilacak dan bersih alih-alih model tertutup yang kemudian kita temukan dilatih pada thread diskusi Reddit dan Facebook .
Meskipun beberapa pihak menganggap Apertus berpotensi mati saat lahir karena kesenjangan performanya, yang lain melihatnya sebagai langkah penting menuju penetapan standar baru untuk pengembangan AI yang etis. Kepatuhan model terhadap persyaratan EU AI Act dan penyediaan dokumentasi transparansi menunjukkan bahwa model ini mungkin menarik bagi organisasi yang memprioritaskan kepatuhan regulasi daripada performa terdepan.
Referensi: swiss-ai/Apertus-708-2509