Seorang developer telah menemukan bottleneck performa yang signifikan dalam tools inferensi LLM populer dan menemukan solusi yang mengejutkan sederhana yang menggandakan kecepatan pemrosesan. Terobosan ini muncul setelah berhari-hari melakukan troubleshooting mengapa llama.cpp kesulitan dengan batch processing sementara vLLM menangani beban kerja yang sama dengan mudah.
Masalah Tata Letak Memori yang Tersembunyi
Masalahnya bukanlah pada utilisasi GPU atau daya komputasi, melainkan bagaimana data disusun dalam memori. Saat menjalankan llama.cpp dan vLLM pada kartu grafis RTX 4070 yang sama, developer tersebut memperhatikan bahwa llama.cpp mulai tertinggal parah ketika memproses 8 atau lebih prompt secara bersamaan, meskipun penggunaan GPU terlihat normal. Sementara itu, vLLM menangani beban kerja batch yang sama tanpa masalah.
Akar penyebabnya terletak pada bagaimana setiap sistem mengorganisir data key-value cache dalam memori. Llama.cpp menggunakan tata letak memori datar yang bekerja baik untuk prompt tunggal tetapi menciptakan pola akses memori yang tidak efisien ketika menangani beberapa prompt sekaligus. Hal ini memaksa GPU untuk melakukan pembacaan memori yang tersebar dan tidak berurutan yang membuang bandwidth berharga.
Key-value cache: Teknik optimasi memori yang menyimpan nilai attention yang telah dihitung sebelumnya untuk menghindari perhitungan ulang, sangat penting untuk inferensi model bahasa yang efisien.
Perbandingan Tata Letak Memori:
- Tata letak llama.cpp asli: [urutan, kepala, dimensi] - menyebabkan akses memori berselang
- Tata letak yang dioptimalkan: [kepala, urutan, dimensi] - memungkinkan pembacaan memori yang digabungkan
- Peningkatan performa: Percepatan 2x dengan operasi yang sama
Solusi Sederhana yang Mengubah Segalanya
Solusinya melibatkan pembentukan ulang bagaimana data disimpan dalam tensor memori. Dengan mengubah tata letak dari [sequence, head, dimension] menjadi [head, sequence, dimension], developer tersebut menyelaraskan struktur data dengan bagaimana streaming multiprocessor GPU secara alami ingin mengakses memori. Perubahan yang tampaknya kecil ini memungkinkan pembacaan memori yang sepenuhnya coalesced tanpa lompatan berselang.
GPU tidak pernah menjadi bottleneck. masalahnya adalah tata letak memori yang tidak selaras dengan stride akses yang diharapkan SM.
Modifikasi ini membawa pola akses memori llama.cpp lebih dekat dengan pendekatan vLLM, yang menggunakan paged key-value cache dengan tata letak yang dioptimalkan untuk arsitektur memori GPU. Ini menjelaskan mengapa vLLM lebih baik dalam menangani ukuran batch yang lebih besar - dirancang dari awal untuk bekerja dengan bagaimana GPU modern menangani memori.
Streaming multiprocessors (SMs): Unit pemrosesan inti dalam GPU NVIDIA yang menjalankan komputasi paralel paling efisien ketika mengakses lokasi memori yang bersebelahan.
Performa Mesin Inferensi:
| Tool | Penanganan Ukuran Batch | Layout Memori | Penskalaan Performa |
|---|---|---|---|
| llama.cpp | Buruk di atas batch 8 | Layout datar | Terbatas |
| vLLM | Sangat baik | Paged KV cache | Superior |
| sglang | Sangat baik | Dioptimalkan | Superior |
Melampaui Dominasi NVIDIA
Meskipun optimasi ini berfokus pada hardware NVIDIA, diskusi yang lebih luas mengungkapkan perkembangan menarik dalam lanskap GPU. Instinct MI300 dari AMD menawarkan karakteristik performa yang berbeda dengan hingga 160 TFLOPS performa FP32 yang dipasangkan dengan bandwidth HBM3 6 TB/s. Ini menciptakan ridge-point sekitar 27 FLOP per byte, kira-kira dua kali lipat dari A100 NVIDIA pada 13 FLOP per byte.
Namun, keunggulan ekosistem software NVIDIA tetap kuat. Meskipun spesifikasi hardware AMD kompetitif dan opsi memori on-package yang lebih besar (128-256 GB), kurangnya tools software yang matang membuat sebagian besar developer tetap dalam ekosistem NVIDIA.
Karakteristik Performa GPU:
- NVIDIA A100: titik ridge 13 FLOPs/byte
- AMD Instinct MI300: titik ridge 27 FLOPs/byte, 160 TFLOPS FP32, bandwidth HBM3 ~6 TB/s
- Kapasitas memori: AMD menawarkan 128-256 GB on-package vs konfigurasi yang lebih kecil dari NVIDIA
Gambaran Besar
Penemuan ini menyoroti pelajaran penting bagi developer AI: bottleneck performa sering tersembunyi di tempat yang tidak terduga. Meskipun grafik utilisasi GPU mungkin terlihat sempurna, pembatasan sebenarnya bisa mengintai dalam pola akses memori atau pilihan tata letak data. Proses debugging dua hari yang mengarah pada terobosan ini menunjukkan betapa pentingnya melihat melampaui metrik tingkat permukaan ketika mengoptimalkan beban kerja AI.
Pengalaman developer tersebut juga mendemonstrasikan nilai membandingkan mesin inferensi yang berbeda. Dengan menjalankan beban kerja yang sama pada llama.cpp dan vLLM, mereka dapat mengidentifikasi bahwa masalahnya bukan inheren pada hardware atau tugas itu sendiri, melainkan pada bagaimana satu tool mengorganisir struktur datanya.