Sebuah benchmark langsung baru yang menguji kemampuan large language model dalam mengidentifikasi font dari gambar telah mengungkapkan performa yang mengejutkan buruk, memicu diskusi tentang kemampuan sebenarnya dari sistem AI saat ini. Benchmark tersebut, yang menggunakan permintaan identifikasi font dari dunia nyata dari forum komunitas dafont.com, menunjukkan bahwa bahkan LLM modern pun kesulitan dengan tugas visual yang tampaknya mudah ini.
Metodologi pengujian mengatasi masalah kritis dalam evaluasi AI: kontaminasi benchmark. Dengan hanya menguji font yang belum diidentifikasi oleh komunitas dan membandingkan hasil setelah para ahli manusia memberikan jawaban, benchmark tersebut memastikan model bekerja dengan gambar yang benar-benar belum pernah dilihat. Pendekatan ini mencegah masalah umum LLM yang tampak artifisial mampu karena menghafal data pelatihan.
Metodologi Benchmark:
- Mengambil permintaan identifikasi font dari forum dafont.com
- Hanya menguji font yang belum diidentifikasi oleh komunitas
- Membandingkan prediksi LLM dengan jawaban ahli komunitas
- Mencegah kontaminasi benchmark melalui evaluasi langsung
- Menyediakan gambar, judul thread, dan deskripsi sebagai konteks
 |
|---|
| Menjelajahi kemampuan model bahasa besar dalam identifikasi font |
Pemilihan Model Memicu Perdebatan tentang Standar Pengujian
Benchmark menguji dua model: GPT-4o-mini dan Gemini-2.5-flash-preview, keduanya dianggap sebagai opsi tingkat menengah daripada model unggulan. Diskusi komunitas mempertanyakan apakah pilihan ini memberikan penilaian yang adil terhadap kemampuan AI saat ini. Kritikus berargumen bahwa menguji model frontier yang lebih mahal akan menghasilkan hasil yang lebih bermakna, meskipun yang lain menunjukkan bahwa pertimbangan biaya kemungkinan mempengaruhi pemilihan untuk evaluasi yang sedang berlangsung.
Pengaturan pengujian memungkinkan setiap model hingga lima tebakan per font, dengan performa diukur menggunakan metrik akurasi top-k. Pendekatan ini mengakui bahwa identifikasi font sering melibatkan beberapa kandidat yang masuk akal, terutama mengingat banyaknya font serupa yang tersedia di platform gratis.
Model yang Diuji:
- GPT-4o-mini
- Gemini-2.5-flash-preview-05-20
Parameter Pengujian:
- Hingga 5 tebakan per font diperbolehkan
- Performa diukur dengan akurasi top-k
- Benchmark langsung menggunakan gambar yang belum pernah dilihat sebelumnya
 |
|---|
| Mengevaluasi model AI terhadap tantangan pengenalan font spesifik |
Keterbatasan Teknis dan Tantangan Dunia Nyata
Beberapa faktor mungkin berkontribusi pada performa buruk selain keterbatasan model. Identifikasi font dalam periklanan dan desain sering melibatkan modifikasi khusus pada font yang ada, membuat pencocokan yang tepat menjadi tidak mungkin. Desainer sering memulai dengan font dasar dan menerapkan penyesuaian seperti mengubah spasi, karakter yang tumpang tindih, atau bentuk huruf yang dimodifikasi untuk mencapai efek visual tertentu.
Metodologi benchmark juga menimbulkan pertanyaan tentang kelengkapan evaluasi. Anggota komunitas mencatat bahwa detail teknis penting hilang, seperti apakah kemampuan pencarian web atau fitur penalaran lanjutan diaktifkan selama pengujian. Alat-alat ini berpotensi membantu model meneliti dan mengidentifikasi font dengan lebih efektif.
 |
|---|
| Tantangan dunia nyata dalam identifikasi font, dicontohkan oleh desain produk |
Implikasi untuk Penilaian AI
Hasil tersebut menyoroti pemeriksaan realitas yang penting untuk kemampuan AI. Meskipun LLM unggul dalam banyak tugas berbasis teks, benchmark ini mengungkapkan keterbatasan yang jelas dalam tugas pengenalan visual khusus. Performa buruk berfungsi sebagai pengingat bahwa sistem AI saat ini, meskipun pencapaian yang mengesankan di domain lain, masih memiliki kesenjangan signifikan dalam aplikasi praktis tertentu.
Saya senang dengan cara yang aneh karena telah menemukan tugas klasifikasi yang tidak baik dilakukan oleh LLM (belum?). Saya pikir ini adalah pengingat yang baik bahwa LLM bukanlah sihir, dan bahwa mereka masih memiliki jalan panjang sebelum dapat menyelesaikan semua tugas.
Tantangan identifikasi font juga mendemonstrasikan nilai pendekatan benchmarking langsung yang mencegah kontaminasi data. Ketika sistem AI menjadi lebih mampu dan dataset pelatihan tumbuh lebih besar, memastikan evaluasi yang adil menjadi semakin penting untuk memahami kemampuan model yang asli versus efek menghafal.
Sifat berkelanjutan dari benchmark ini berarti hasil akan terus berkembang ketika lebih banyak data tersedia dan berpotensi model yang lebih canggih diuji. Untuk saat ini, ini berdiri sebagai contoh menarik dari domain di mana keahlian manusia masih secara signifikan mengungguli kecerdasan buatan.
Referensi: Do LLMs identify fonts?