DeepSeek Umumkan mHC: Arsitektur AI Baru yang Menjanjikan Model Besar yang Stabil, Skalabel, dan Hemat Biaya

Dalam langkah yang dapat membentuk kembali ekonomi dan skalabilitas pengembangan model bahasa besar, perusahaan AI asal Tiongkok DeepSeek telah merilis makalah penelitian terobosan yang merinci arsitektur jaringan saraf novel. Pengumuman yang dibuat tepat sebelum tahun baru ini, memperkenalkan "Manifold-Constrained Hyper-Connections" (mHC), sebuah metode yang dirancang untuk memecahkan hambatan stabilitas dan biaya kritis yang telah lama menghantui pelatihan model AI yang semakin besar. Pengembangan ini menyusul kesuksesan mengejutkan DeepSeek sebelumnya dengan model R1-nya dan mungkin meletakkan landasan teknis untuk model R2 yang sangat dinantikan, namun tertunda.

Konteks & Latar Belakang

• Tanggal Pengumuman: 31 Desember 2025 / 1 Januari 2026 (Tahun Baru China).
• Platform Penelitian: Diterbitkan di arXiv (pra-cetak, belum ditinjau sejawat).
• Konteks Perusahaan: Mengikuti kesuksesan model R1 DeepSeek yang hemat biaya (2025). Menginformasikan pengembangan model R2 yang tertunda.
• Tantangan yang Dikutip: Akses China yang terbatas ke chip AI canggih, membuat efisiensi komputasi menjadi kritis.

Tantangan Inti: Skalabilitas Tanpa Stabilitas

Dorongan tanpa henti untuk menciptakan model AI yang lebih besar dan lebih mampu secara konsisten menghadapi masalah teknik mendasar: degradasi sinyal dan ketidakstabilan. Saat jaringan saraf tumbuh lebih dalam dengan lebih banyak lapisan—serupa dengan menambahkan lebih banyak orang ke dalam permainan telepon—sinyal asli dapat menjadi sangat teramplifikasi, teratenuasi, atau hilang sepenuhnya. Fenomena ini, sering kali termanifestasi sebagai ledakan gradien atau gradien yang menghilang, membuat pelatihan menjadi tidak stabil, tidak efisien, dan pada akhirnya membatasi seberapa besar model dapat dibuat secara praktis. Solusi yang ada seperti Hyper-Connections (HC) berusaha meningkatkan kinerja dengan menciptakan jalur koneksi yang lebih kompleks antar lapisan, tetapi mereka sering mengorbankan properti "pemetaan identitas" yang penting untuk menjaga stabilitas pelatihan, terkadang mengamplifikasi sinyal dengan faktor hampir 3000 dan menyebabkan divergensi pelatihan.

Mekanisme Teknis Inti

• Inovasi Inti: Proyeksi matriks Hyper-Connection (HC) ke dalam Manifold Matriks Doubly Stochastic (Politop Birkhoff).
• Sifat yang Dihasilkan:
  1. Konservasi Energi: Semua baris dan kolom berjumlah 1, mencegah amplifikasi/atenuasi sinyal.
  2. Penutupan Stabilitas: Sifat stabilitas dipertahankan di berbagai lapisan jaringan.
  3. Interpretabilitas Geometris: Merepresentasikan kombinasi cembung dari matriks permutasi, membantu fusi fitur.
• Algoritma: Dicapai menggunakan algoritma Sinkhorn-Knopp untuk proyeksi.

Solusi DeepSeek: Membatasi Konektivitas pada Manifold

Arsitektur mHC yang diusulkan DeepSeek secara langsung menyerang ketidakstabilan ini dari akarnya. Inovasi kuncinya bukan menambah lebih banyak koneksi, tetapi membatasinya secara cerdas. Para peneliti mengambil kerangka kerja Hyper-Connections yang kuat namun sulit dikendalikan dan memberlakukan "kendala manifold" matematis. Secara spesifik, mereka memproyeksikan matriks koneksi ke dalam ruang matriks "stokastik ganda"—sebuah konstruksi matematis di mana semua baris dan kolom berjumlah satu. Kendala yang elegan ini memberlakukan konservasi energi di dalam jaringan; sinyal tidak dikuatkan secara artifisial maupun dikurangi saat melewati lapisan. Ini secara efektif mengembalikan properti pemetaan identitas yang stabil dari jaringan residual klasik sambil mempertahankan kekuatan ekspresif yang ditingkatkan dari topologi yang lebih kompleks.

Kinerja Terbukti dan Efisiensi Praktis

Hasilnya, seperti dirinci dalam makalah, sangat menarik. Dalam pengujian pada model 27 miliar parameter, mHC menunjukkan stabilitas pelatihan yang luar biasa di mana metode HC tradisional gagal, dengan amplifikasi sinyal dikendalikan hingga faktor mendekati ideal 1,6 dibandingkan dengan 3000 milik HC. Stabilitas ini langsung diterjemahkan menjadi kinerja yang unggul. Pada tolok ukur yang menuntut seperti Big-Bench Hard (BBH) dan DROP, mHC mengungguli baik model dasar maupun model HC dengan margin yang signifikan, menunjukkan peningkatan hingga 2,3 poin persentase. Yang terpenting untuk adopsi dunia nyata, tim DeepSeek telah merekayasa sistem untuk efisiensi. Melalui fusi kernel, komputasi ulang, dan optimasi komunikasi, metode mHC hanya memperkenalkan overhead waktu pelatihan sebesar 6,7%, menjadikannya pilihan yang layak untuk proses pelatihan skala besar.

Perbandingan Kinerja (Model 27B)

Implikasi bagi Lanskap AI

Publikasi makalah mHC lebih dari sekadar pengungkapan teknis; ini adalah pergeseran strategis potensial dalam perlombaan pengembangan AI. DeepSeek, yang terkenal karena membangun model R1 yang kompetitif dengan sebagian kecil dari biaya yang diharapkan, sekali lagi mengadvokasi kekuatan kecerdikan algoritmik dibandingkan kekuatan komputasi kasar belaka. Dengan menyediakan jalur untuk melatih model yang stabil dan berkinerja tinggi dengan lebih efisien, mHC dapat menurunkan hambatan masuk untuk penelitian AI terdepan. Potensi demokratisasi ini diperkuat oleh fakta bahwa penelitian tersedia secara terbuka di arXiv, memungkinkan pengembang di seluruh dunia untuk bereksperimen dan membangun di atas kerangka kerja tersebut. Ini juga mengisyaratkan arah teknologi dari model generasi berikutnya DeepSeek, R2, yang rilis pertengahan 2025-nya dilaporkan ditunda karena kekhawatiran kinerja dan tantangan akses perangkat keras.

Arah Baru untuk Arsitektur Saraf

Tim DeepSeek menyimpulkan bahwa mHC bukan hanya peningkatan inkremental tetapi kerangka kerja yang "dapat membantu menunjuk ke arah baru untuk evolusi arsitektur fondasional generasi berikutnya." Dengan secara ketat menghubungkan desain topologi dengan stabilitas optimasi, penelitian ini menghidupkan kembali studi tentang struktur jaringan saraf makroskopik—sebuah area yang terkadang tertutupi oleh pekerjaan pada penskalaan dan data. Pendekatan terkendali manifold membuka pintu untuk mengeksplorasi ruang matematika lain yang disesuaikan untuk tujuan pembelajaran spesifik, menjanjikan masa depan di mana skalabilitas model diatur oleh prinsip-prinsip teknik yang tepat daripada biaya yang menghambat. Saat bidang AI memasuki tahun 2026, "hadiah" Tahun Baru DeepSeek kepada komunitas penelitian mungkin saja menjadi cetak biru untuk era AI skala besar yang lebih stabil dan dapat diakses.