Institusi akademik Swiss ETH Zurich dan EPFL sedang mempersiapkan peluncuran model bahasa besar yang revolusioner dan menjanjikan transparansi penuh dalam ruang AI. Dijadwalkan pada akhir musim panas 2025, model ini tidak hanya menonjol karena kemampuan teknisnya, tetapi juga karena komitmennya terhadap keterbukaan penuh - sesuatu yang telah memicu diskusi besar dalam komunitas teknologi tentang apa arti keterbukaan sejati dalam pengembangan AI.
Spesifikasi Model:
- Parameter: Versi dengan 8 miliar dan 70 miliar parameter
- Bahasa: Dukungan untuk 1.000+ bahasa
- Data pelatihan: Lebih dari 15 triliun token (60% bahasa Inggris, 40% non-Inggris)
- Jadwal rilis: Akhir musim panas 2025
- Lisensi: Apache 2.0
 |
|---|
| Model bahasa yang dikembangkan melalui kolaborasi antara ETH Zurich dan EPFL , menekankan transparansi dan keterbukaan dalam AI |
Tantangan Infrastruktur dan Kurva Pembelajaran
Komunitas telah menyoroti kekhawatiran signifikan tentang kompleksitas teknis dalam melatih model skala besar. Banyak pengamat mencatat bahwa meskipun institusi Swiss memiliki talenta luar biasa, mereka mungkin kekurangan pengalaman ekstensif dengan infrastruktur AI skala besar. Superkomputer Alps di CSCS , yang dilengkapi dengan lebih dari 10.000 NVIDIA Grace Hopper Superchips , merepresentasikan investasi besar dalam kemampuan AI yang berdaulat, namun mengoptimalkan sistem seperti ini terkenal sulit.
Pelatihan pada skala ini melibatkan lebih dari sekadar memuat dataset dan menjalankan algoritma. Para insinyur harus menangani masalah latensi lintas-node, merancang sistem pemulihan kesalahan yang kuat, memaksimalkan pemanfaatan perangkat keras, dan mengelola orkestrasi kompleks sumber daya komputasi terdistribusi. Kurva pembelajarannya curam, dan bahkan proyek yang didanai dengan baik dapat mengalami kesulitan dengan tantangan-tantangan ini.
Detail Infrastruktur:
- Platform pelatihan: superkomputer " Alps " di CSCS
- Perangkat keras: 10.000+ NVIDIA Grace Hopper Superchips
- Sumber daya: listrik 100% netral karbon
- Akses: 20+ juta jam GPU tersedia per tahun
- Kemitraan: kolaborasi 15+ tahun dengan NVIDIA dan HPE/Cray
Perdebatan Transparansi Dataset
Salah satu aspek yang paling banyak dibahas adalah klaim proyek tentang transparansi dataset. Meskipun pengumuman menjanjikan bahwa data pelatihan akan transparan dan dapat direproduksi, anggota komunitas mempertanyakan apa arti sebenarnya dalam praktik. Tantangannya terletak pada skala yang sangat besar - dengan dataset pelatihan yang sering berukuran ratusan terabyte, menyediakan dump data lengkap mungkin tidak praktis.
Skenario yang lebih mungkin melibatkan penyediaan daftar URL atau referensi ke materi sumber daripada konten aktual. Namun, pendekatan ini menimbulkan pertanyaan tentang reproduktibilitas sejati, terutama karena konten web berubah dari waktu ke waktu. Beberapa pihak menyarankan bahwa ini masih bisa merepresentasikan kemajuan dibandingkan praktik industri saat ini di mana data pelatihan tetap sepenuhnya tidak transparan.
Fokus Multibahasa dan Pertanyaan Performa
Dukungan model untuk lebih dari 1.000 bahasa telah menarik minat, meskipun diskusi komunitas mengungkapkan skeptisisme tentang performa dibandingkan dengan model-model canggih. Dengan data pelatihan terbagi sekitar 60% bahasa Inggris dan 40% konten non-Inggris di lebih dari 1.500 bahasa, pertanyaan tetap ada tentang apakah pendekatan luas ini mungkin mengurangi performa dalam bahasa-bahasa utama.
Proyek ini akan merilis model dalam versi 8 miliar dan 70 miliar parameter, dengan model yang lebih besar diposisikan untuk bersaing di antara model terbuka penuh yang paling kuat secara global. Namun, tanpa hasil benchmark atau perbandingan performa, komunitas tetap berhati-hati tentang kemampuan aktual.
Ikhtisar Inisiatif AI Swiss:
- Tanggal peluncuran: Desember 2023
- Institusi utama: ETH Zurich , EPFL
- Institusi yang berpartisipasi: 10+ institusi akademik Swiss
- Peneliti yang terlibat: 800+
- Periode pendanaan: 2025-2028 (dukungan ETH Board )
- Cakupan: Upaya model fondasi AI sains terbuka terbesar di dunia
Gerakan Kedaulatan AI Eropa
Inisiatif ini mencerminkan upaya Eropa yang lebih luas untuk mengurangi ketergantungan pada sistem AI yang dikembangkan di Amerika Serikat dan China. Penekanan pada penghormatan terhadap opt-out crawling web dan kepatuhan terhadap persyaratan EU AI Act menunjukkan pendekatan yang memprioritaskan kepatuhan hukum daripada performa maksimum - trade-off yang telah menghasilkan reaksi beragam.
LLM terbuka semakin dipandang sebagai alternatif yang kredibel untuk sistem komersial, yang sebagian besar dikembangkan di balik pintu tertutup di Amerika Serikat atau China.
Proyek ini merepresentasikan lebih dari sekadar peluncuran model AI lainnya. Ini adalah bagian dari Swiss AI Initiative , yang melibatkan lebih dari 800 peneliti dan didukung oleh pendanaan publik yang signifikan hingga 2028. Skala investasi ini menunjukkan komitmen serius untuk membangun kemampuan AI Eropa, meskipun kesuksesan pada akhirnya akan bergantung pada eksekusi dan performa dunia nyata ketika model diluncurkan.
Komunitas teknologi akan mengamati dengan cermat ketika benchmark dan kemampuan aktual diungkapkan akhir tahun ini, karena ini dapat menetapkan preseden penting untuk pengembangan AI open-source dan kompetisi internasional di bidang ini.
Referensi: A language model built for the public good