Pengguna Ollama mengalami masalah kompatibilitas yang meluas dengan model GPT-OSS 20B , yang menyoroti konsekuensi dari keputusan platform tersebut untuk meninggalkan llama.cpp demi implementasi mereka sendiri. Masalah ini telah memicu perdebatan sengit di komunitas mengenai arah teknis dan strategi bisnis Ollama .
Akar Masalah
Berbagai pengguna di berbagai versi Ollama (0.10.1 hingga 0.11.3) mengalami kesalahan yang sama ketika mencoba menjalankan model GGUF GPT-OSS 20B . Pesan kesalahan tensor blk0.ffn.down.exps.weight has invalid ggml type 39 (NONE) muncul secara konsisten di berbagai sistem operasi dan konfigurasi perangkat keras, termasuk pengaturan CUDA dan ROCm . Yang menarik, model yang sama bekerja dengan sempurna ketika dijalankan langsung melalui llama.cpp , menunjukkan masalah kompatibilitas khusus Ollama .
Penjelasan teknis datang dari ggerganov , pencipta llama.cpp , yang mengidentifikasi bahwa implementasi kustom Ollama tidak mendukung jenis tensor tertentu yang dibutuhkan oleh model-model baru. Hal ini menciptakan situasi yang membuat frustrasi di mana pengguna dapat berhasil mengunduh model tetapi tidak dapat menjalankannya, meskipun model tersebut bekerja dengan sempurna di alat-alat lain.
Versi Ollama yang Terpengaruh:
- Versi 0.10.1
- Versi 0.11.2
- Versi 0.11.3-rc0
- Versi 0.11.3
Detail Error:
- Pesan error: "tensor blk0.ffn.down.exps.weight has invalid ggml type 39 (NONE)"
- Mempengaruhi beberapa sumber model GGUF: unsloth/gpt-oss-20b-GGUF dan ggml-org/gpt-oss-20b-GGUF
- Model berfungsi dengan benar di llama.cpp tetapi gagal di Ollama
Reaksi Keras Komunitas Terhadap Keputusan Teknis
Insiden ini telah mengungkap kekhawatiran yang lebih dalam tentang arah strategis Ollama . Anggota komunitas telah mengkritik keputusan perusahaan untuk menjauh dari llama.cpp , dengan berargumen bahwa hal ini menciptakan masalah kompatibilitas yang tidak perlu sambil memberikan sedikit manfaat bagi pengguna. Seorang pengembang mencatat bahwa Ollama sekarang terhubung langsung ke pustaka ggml tingkat rendah alih-alih menggunakan llama.cpp sebagai pustaka, mengharuskan mereka untuk menciptakan ulang banyak hal tanpa manfaat yang jelas.
Namun, pimpinan Ollama telah membela pendekatan mereka, menjelaskan bahwa adopsi cepat llama.cpp terhadap optimisasi tingkat penelitian membuatnya tidak cocok untuk kemitraan perusahaan. Mereka memprioritaskan stabilitas dan kinerja yang dapat diprediksi daripada fitur-fitur canggih, bahkan jika itu berarti kecepatan yang lebih lambat dan kemampuan yang lebih sedikit.
Konfigurasi Hardware yang Terpengaruh:
- Pengaturan CUDA ( Tesla V100 , GPU-6000c )
- ROCm versi 1.15 ( RX7700xt )
- Sistem macOS
- Sistem Ubuntu Linux
- Berbagai konfigurasi memori (125.8 GiB total, 114.1 GiB tersedia dilaporkan dalam satu kasus)
Implikasi yang Lebih Luas untuk Ekosistem
Kontroversi ini meluas melampaui masalah kompatibilitas tunggal ini. Para kritikus menunjukkan bahwa Ollama memiliki lebih dari 1.800 isu terbuka dan tidak secara konsisten mengonversi model-model terbaru ke format proprietary mereka. Keterbatasan ini mencegah pengguna menjalankan model open source terdepan kecuali Ollama secara khusus mendukungnya.
Ollama bisa membuat hidupnya jauh lebih mudah dengan menjalankan llama-server sebagai subprocess yang mendengarkan pada unix socket, dan meneruskan permintaan kepadanya.
Situasi ini telah membuat beberapa anggota komunitas mengadvokasi alternatif seperti llama-server atau alat pengalihan model lainnya yang mempertahankan kompatibilitas yang lebih dekat dengan ekosistem yang lebih luas. Saat Ollama terus mengejar kemitraan perusahaan dan pendanaan modal ventura, ketegangan antara stabilitas komersial dan kebutuhan komunitas tampaknya semakin meningkat.
Masalah kompatibilitas GPT-OSS 20B berfungsi sebagai contoh konkret bagaimana keputusan teknis yang dibuat karena alasan bisnis dapat berdampak pada pengalaman pengguna dan kepercayaan komunitas dalam lanskap alat AI yang berkembang pesat.
Referensi: gpt-oss 20b gguf model fail to run #11714