Dalam dunia komputasi berskala tinggi, bahkan bug yang paling langka pun menjadi tak terhindarkan ketika Anda memproses ratusan juta permintaan HTTP. Engineer Cloudflare baru-baru ini menghadapi satu masalah sulit seperti itu - crash misterius yang muncul secara acak pada infrastruktur ARM64 mereka. Apa yang awalnya berupa panic sesekali akhirnya terungkap sebagai bug fundamental dalam compiler ARM64 Go, menunjukkan bagaimana kompleksitas perangkat lunak modern dapat menyembunyikan masalah halus namun kritis.
 |
|---|
| Postingan blog ini membahas penemuan bug fundamental dalam kompiler ARM64 Go, masalah kritis yang dihadapi oleh engineer Cloudflare saat memproses jutaan permintaan HTTP |
Hantu dalam Mesin
Selama berminggu-minggu, engineer Cloudflare mengamati segmentation fault aneh dan panic fatal yang terjadi pada server ARM64 mereka. Crash ini sangat membingungkan karena tampaknya benar-benar acak - muncul tanpa pola yang jelas dan hanya mempengaruhi persentase kecil dari lalu lintas masif yang mengalir melalui jaringan global Cloudflare. Investigasi awal mengarah pada korupsi memori, tetapi akar penyebabnya tetap sulit dipahami meskipun telah dilakukan upaya debugging yang ekstensif.
Masalah ini muncul sebagai segmentation fault selama operasi garbage collection dan unwinding stack. Engineer memperhatikan bahwa crash ini secara konsisten terjadi selama async preemption - mekanisme Go untuk menginterupsi goroutine yang berjalan lama untuk mempertahankan penjadwalan yang adil. Petunjuk ini menjadi benang merah pertama dalam perjalanan debugging yang kompleks.
Satu hal yang sering terlewatkan adalah betapa sulitnya bahkan untuk mencurigai compiler sebagai akar penyebabnya. Kebanyakan engineer menghabiskan berjam-jam mengejar bug dalam kode mereka sendiri karena kita dilatih untuk mempercayai alat-alat kita.
Mengungkap Race Condition
Terobosan datang ketika engineer menyadari bahwa crash terjadi selama jendela yang sangat spesifik - ketika runtime Go melakukan preemption terhadap goroutine di tengah-tengah penyesuaian pointer stack. Pada arsitektur ARM64, penyesuaian pointer stack yang besar terkadang dibagi menjadi beberapa instruksi oleh assembler Go. Jika async preemption terjadi di antara instruksi-instruksi yang terpisah ini, itu meninggalkan pointer stack dalam keadaan tidak konsisten.
Hal ini menciptakan race condition di mana garbage collection akan mencoba melakukan unwind stack dengan pointer yang tidak valid, leading ke segmentation fault. Bug ini sangat halus karena hanya mempengaruhi fungsi dengan stack frame lebih besar dari 4KB, dan hanya pada arsitektur ARM64 di mana instruksi fixed-length terkadang memerlukan operasi kompleks untuk dipecah menjadi beberapa langkah.
Diskusi komunitas menyoroti bagaimana jenis bug ini mewakili masalah klasik dalam pemrograman sistem. Beberapa komentator mencatat pengalaman serupa dengan bug compiler sepanjang karir mereka, menekankan bagaimana skala dan perbedaan arsitektur dapat mengungkap masalah yang tetap tersembunyi di sebagian besar lingkungan pengembangan.
Detail Teknis Utama:
- Arsitektur: ARM64 (instruction set dengan panjang tetap)
- Masalah: Penyesuaian stack pointer terpecah menjadi beberapa instruksi
- Dampak: Stack pointer tidak valid selama garbage collection
- Solusi: Menggunakan register sementara untuk pembaruan stack pointer secara atomic
- Metode deteksi: Analisis pola crash dalam skala masif (ratusan juta permintaan)
Perbaikan dan Implikasinya
Engineer Cloudflare mengembangkan reproducer minimal yang mendemonstrasikan bug tanpa ketergantungan eksternal. Ini memungkinkan mereka untuk mengonfirmasi bahwa masalahnya memang berada dalam runtime Go daripada kode aplikasi mereka. Perbaikan melibatkan modifikasi bagaimana compiler Go menangani penyesuaian stack besar pada ARM64 - memastikan bahwa modifikasi pointer stack terjadi secara atomik dalam satu instruksi tunggal daripada dibagi menjadi beberapa operasi.
Bug ini dengan cepat ditangani oleh tim Go dan diperbaiki dalam versi 1.21.3, 1.20.10, dan 1.19.13. Solusi mencegah race condition dengan menggunakan register sementara untuk membangun nilai offset besar, kemudian menerapkannya ke pointer stack dalam satu operasi yang tidak dapat dibagi. Ini memastikan bahwa goroutine dapat di-preempt sebelum atau setelah modifikasi pointer stack, tetapi tidak pernah selama fase penyesuaian kritis.
Anggota komunitas mendiskusikan implikasi yang lebih luas dari bug seperti ini, dengan beberapa mencatat bahwa ini menyoroti pentingnya memahami bahasa assembly bahkan dalam lingkungan pemrograman tingkat tinggi. Yang lain menunjuk bahwa masalah serupa telah muncul sepanjang sejarah komputasi, seringkali terkait dengan modifikasi pointer stack non-atomik di berbagai arsitektur.
Versi Go yang Terpengaruh dan Perbaikannya:
- Go 1.19.x: Diperbaiki di versi 1.19.13
- Go 1.20.x: Diperbaiki di versi 1.20.10
- Go 1.21.x: Diperbaiki di versi 1.21.3
- Akar masalah: Penyesuaian stack pointer yang tidak atomik pada ARM64
- Kondisi pemicu: Preemption asinkron di antara instruksi split untuk stack frame yang lebih besar dari 4KB
Pelajaran untuk Pengembangan Perangkat Lunak Modern
Insiden ini menggarisbawahi beberapa pelajaran penting untuk operasi perangkat lunak berskala besar. Pertama, ini menunjukkan nilai dari kebijakan investigasi crash yang menyeluruh - Cloudflare mewajibkan investigasi setiap crash setelah sebelumnya belajar bahwa crash yang tidak dapat dijelaskan dapat menjadi tanda peringatan dini dari masalah serius. Kedua, ini menunjukkan bagaimana perbedaan arsitektur penting - bug yang tidak pernah muncul pada sistem x86 dapat menjadi kritis pada deployment ARM64.
Proses debugging juga menyoroti pentingnya memiliki engineer yang dapat berpikir melintasi berbagai tingkat abstraksi, dari kode aplikasi tingkat tinggi hingga internal compiler dan arsitektur prosesor. Seperti yang dicatat oleh salah satu anggota komunitas, bug compiler telah menjadi semakin langka seiring membaiknya peralatan, tetapi mereka masih terjadi dan memerlukan teknik investigasi yang canggih.
Penemuan ini berfungsi sebagai pengingat bahwa dalam sistem terdistribusi yang beroperasi pada skala masif, bahkan kejadian satu dalam sejuta pun terjadi secara teratur. Apa yang mungkin dianggap sebagai kasus tepi di sebagian besar lingkungan menjadi masalah produksi ketika Anda menangani lalu lintas skala internet. Ini juga menunjukkan nilai ekosistem sumber terbuka di mana bug seperti ini dapat dengan cepat diidentifikasi, dilaporkan, dan diperbaiki melalui kolaborasi antara perusahaan dan pengelola bahasa.
Seiring perangkat lunak terus berkembang dan arsitektur baru mendapatkan prominence, interaksi halus serupa antara compiler, runtime, dan perangkat keras kemungkinan akan terus muncul. Pendekatan sistematis tim Cloudflare untuk debugging memberikan blueprint tentang bagaimana organisasi teknik dapat menangani masalah yang menantang seperti itu.
Referensi: How we found a bug in Go’s arm64 compiler