Seorang developer kreatif telah menemukan cara yang tidak biasa untuk menangani web crawler yang agresif dengan menghasilkan gambar JPEG palsu secara otomatis. Solusi ini muncul dari pengamatan bagaimana bot pencari gambar dengan putus asa mencari konten di aplikasi web bernama Spigot, yang menciptakan halaman web palsu untuk menjebak crawler yang melakukan penyalahgunaan.
Masalah dengan Bot yang Haus Gambar
Developer tersebut memperhatikan bahwa ImageSiftBot membuat ribuan permintaan per jam ke Spigot, mencari gambar yang tidak ada. Daripada hanya memblokir bot tersebut, mereka memutuskan untuk membantu dengan menciptakan gambar palsu yang akan menghabiskan sumber daya crawler. Tantangannya adalah melakukan ini tanpa mengonsumsi terlalu banyak daya CPU server, karena kompresi gambar sesungguhnya membutuhkan komputasi yang mahal.
Statistik Aktivitas Crawler
- ImageSiftBot : ~15.000 gambar palsu diunduh per hari
- Total traffic Spigot : >1 juta halaman dilayani setiap hari
- Integrasi gambar palsu: ~60% dari halaman yang dihasilkan sekarang menyertakan JPEG palsu
- Beberapa crawler besar terdampak: bot Meta , AmazonBot , GPTBot
Solusi Teknis yang Cerdas
Terobosan datang dari pemahaman bagaimana kompresi JPEG bekerja. Karena data terkompresi terlihat pada dasarnya acak, developer menyadari mereka bisa menciptakan JPEG palsu dengan menggunakan template file JPEG asli dan mengisi bagian data gambar terkompresi dengan byte acak. Pendekatan ini membutuhkan daya CPU minimal sambil tetap menghasilkan file yang akan diterima browser dan crawler sebagai gambar yang valid.
Prosesnya melibatkan pemindaian file JPEG yang ada untuk mengekstrak komponen strukturalnya - header, metadata, dan informasi chunk - sambil membuang data piksel yang sebenarnya. Ini menciptakan template ringan yang dapat diisi dengan data acak untuk menghasilkan gambar palsu dengan berbagai ukuran dan format.
JPEG: Format gambar umum yang menggunakan kompresi untuk mengurangi ukuran file Template: Struktur yang sudah dibuat sebelumnya yang dapat diisi dengan konten yang berbeda
Performa dan Efektivitas
Hasilnya mengesankan dari sudut pandang performa. Sistem dapat menghasilkan sekitar 900 gambar palsu per detik, dengan total sekitar 190 megabyte per detik konten palsu. Ini jauh melebihi kecepatan koneksi internet server, membuatnya praktis tidak terbatas dari perspektif bandwidth.
Diskusi komunitas mengungkapkan beberapa pengamatan menarik tentang gambar yang dihasilkan. Pengguna mencatat bahwa JPEG palsu cenderung menampilkan bias hijau, yang berpotensi berfungsi sebagai metode deteksi untuk crawler yang canggih. Namun, sebagian besar crawler tampaknya tidak peduli dengan kualitas gambar atau korupsi kecil selama mereka dapat mengunduh dan memproses file.
Metrik Performa
- Kecepatan generasi: ~900 gambar JPEG palsu per detik
- Throughput data: ~190 MB/detik konten palsu
- Penyimpanan template: 514 template JPEG dari sumber 150MB dikurangi menjadi <500KB
- Peningkatan tingkat error: Kode Huffman tidak valid berkurang dari >90% menjadi <4% dengan bit masking
Dampak yang Lebih Luas pada Web Crawling
Teknik ini terbukti efektif melawan beberapa crawler besar, termasuk bot Meta, AmazonBot, dan GPTBot, yang semuanya telah mulai mengumpulkan gambar palsu. Ini menimbulkan pertanyaan tentang perlombaan senjata antara pembuat konten dan operasi crawling yang agresif.
Beberapa anggota komunitas menarik paralel dengan proyek anti-spam lama seperti Project Honey Pot, yang menggunakan teknik penipuan serupa untuk mengidentifikasi web crawler jahat dan pemanen email. Pendekatan ini merepresentasikan pergeseran dari sekadar memblokir lalu lintas yang tidak diinginkan menjadi secara aktif menghabiskan sumber daya sistem yang melakukan penyalahgunaan.
Developer tersebut sejak itu telah menyempurnakan teknik dengan menerapkan bit mask pada data acak, mengurangi probabilitas menghasilkan file JPEG yang jelas tidak valid dari lebih dari 90% menjadi kurang dari 4%. Perbaikan ini mempertahankan persyaratan CPU yang rendah sambil membuat gambar palsu lebih meyakinkan untuk sistem otomatis.
Solusi kreatif ini mendemonstrasikan bagaimana pemahaman format file dan kompresi dapat digunakan secara defensif melawan operasi web crawling yang intensif sumber daya, membalikkan keadaan pada sistem yang mengonsumsi bandwidth dan sumber daya server tanpa izin.
Referensi: 25th March 2025: Faking a JPEG