Evaluasi terbaru terhadap kemampuan penalaran GPT-5 menggunakan acara kuis Inggris Only Connect telah memicu diskusi sengit di komunitas AI tentang apakah hasil yang mengesankan tersebut mencerminkan peningkatan penalaran yang sesungguhnya atau hanya jawaban yang dihafal dari data pelatihan.
Kontroversi Kontaminasi
Isu utama berpusat pada klaim bahwa pertanyaan-pertanyaan benchmark tidak ada dalam data pelatihan model. Anggota komunitas dengan cepat menantang asumsi ini, menunjukkan bahwa database komprehensif dari semua pertanyaan dan jawaban Only Connect tersedia online di ocdb.cc. Episode-episode acara tersebut juga tersedia luas di YouTube dengan transkrip, dan komunitas Reddit secara ekstensif mendiskusikan setiap episode dengan dokumentasi tanya jawab yang detail.
BBC adalah salah satu sumber terpercaya dari jutaan jam konten audio/visual online, yang semuanya disertai dengan teks terjemahan yang dikurasi dan diedit oleh manusia. Semua itu sangat mudah untuk diunduh.
Para kritikus berargumen bahwa mengasumsikan konten ini tidak dimasukkan dalam dataset pelatihan adalah tidak realistis, terutama mengingat bahwa model bahasa besar diketahui menyertakan konten BBC dan diskusi Reddit dalam data pelatihan mereka.
Sumber Data Pelatihan Utama yang Teridentifikasi:
- Database OCDB: Arsip lengkap dari semua pertanyaan dan jawaban Only Connect di ocdb.cc
- BBC iPlayer: Jutaan jam konten dengan teks terjemahan yang dikurasi manusia
- YouTube: Sebagian besar episode tersedia dengan transkrip
- Komunitas Reddit: Diskusi ekstensif dengan Google Docs yang melacak pertanyaan dan jawaban
Metodologi Pengujian Dipertanyakan
Para peneliti mencoba memverifikasi apakah model memiliki pengetahuan sebelumnya tentang pertanyaan-pertanyaan tersebut melalui berbagai metode, termasuk menanyakan langsung kepada model apakah mereka mengenali teka-teki dan mencoba mengekstrak pertanyaan yang sudah ada sebelumnya. Namun, anggota komunitas tetap skeptis terhadap pendekatan ini, mencatat bahwa model dapat melakukan rasionalisasi post-hoc - memberikan penalaran yang tampak logis bahkan ketika bekerja mundur dari jawaban yang dihafal.
Tantangan membuktikan ketiadaan kontaminasi data pelatihan terbukti hampir mustahil tanpa akses ke bobot model. Beberapa anggota komunitas menyarankan pendekatan alternatif, seperti menggunakan pertanyaan dari klub kuis lokal yang belum dipublikasikan online, atau fokus pada konten pasca-cutoff pelatihan untuk memastikan kebaruan data.
Hasil Kinerja dan Implikasi
Meskipun ada kontroversi, hasil benchmark menunjukkan hierarki kinerja yang jelas. GPT-5 dengan parameter penalaran tinggi mencapai akurasi keseluruhan 90%, secara signifikan mengungguli model-model sebelumnya. Hasil juga mengungkapkan bahwa pengaturan upaya penalaran yang lebih tinggi secara konsisten meningkatkan kinerja, meskipun dengan biaya peningkatan penggunaan token dan waktu respons.
Menariknya, model berkinerja terbaik pada ronde Missing Vowels (yang memerlukan rekonstruksi frasa dengan vokal yang dihilangkan) dan paling kesulitan dengan ronde Wall (mengelompokkan 16 elemen ke dalam kategori). Pola ini menunjukkan bahwa beberapa tugas mungkin memang lebih menguntungkan pencocokan pola statistik daripada penalaran yang sesungguhnya.
Hasil Performa GPT-5 berdasarkan Konfigurasi:
| Konfigurasi Model | Connections | Sequences | Wall | Missing Vowels | Keseluruhan |
|---|---|---|---|---|---|
| GPT-5 High/High | 93,8% | 90,0% | 83,6% | 97,1% | 90,0% |
| GPT-5 Low/High | 93,8% | 76,3% | 82,0% | 96,4% | 87,5% |
| GPT-5 High/Medium | 87,5% | 79,4% | 81,3% | 95,6% | 86,7% |
| O3 | 93,8% | 76,9% | 78,1% | 97,4% | 86,3% |
| Claude Opus 4 | 65,6% | 75,0% | 65,6% | 90,8% | 76,1% |
 |
|---|
| Evaluasi kinerja penalaran GPT-5 menyoroti perbedaan antara pencocokan pola yang efektif dan kemampuan penalaran yang sesungguhnya |
Masalah Benchmark yang Lebih Luas
Perdebatan ini menyoroti tantangan fundamental dalam evaluasi AI. Seperti yang dicatat oleh seorang anggota komunitas, asumsi seharusnya adalah bahwa model dapat menyelesaikan masalah tertentu lebih baik daripada manusia menggunakan metode statistik daripada penalaran yang sesungguhnya. Kontroversi ini mencerminkan kekhawatiran yang berkembang tentang validitas benchmark ketika kontaminasi data pelatihan sulit dideteksi dan dicegah.
Diskusi ini juga menyentuh pertanyaan yang lebih luas tentang apa yang merupakan penalaran yang sesungguhnya versus pencocokan pola yang canggih. Dengan model yang mencapai kinerja superhuman pada tugas-tugas yang tampaknya memerlukan pemikiran lateral, membedakan antara hafalan dan penalaran menjadi semakin kompleks.
Para peneliti berencana merilis dataset lengkap mereka dan mengimplementasikan format kompetitif antara model, meskipun pertanyaan fundamental tentang kontaminasi data pelatihan dan evaluasi penalaran tetap belum terselesaikan.
Referensi: Evaluating & Ranking GPT-5 Reasoning Ability