Dalam perpaduan inovatif antara game retro dan teknologi AI mutakhir, seorang pengembang telah menciptakan xPong, versi baru dari game klasik Pong yang menampilkan komentar real-time yang dihasilkan oleh LLM. Proyek eksperimental ini menunjukkan bagaimana model bahasa besar dapat mengubah pengalaman bermain game dan siaran olahraga dalam waktu dekat.
Pipeline Komentar AI Menunjukkan Potensi di Luar Game Sederhana
Proyek xPong mengimplementasikan pipeline berbasis peristiwa yang canggih yang mengumpulkan kejadian dalam game, menghasilkan metrik, memprioritaskan topik komentar, dan menyampaikan ucapan yang disintesis dalam waktu hampir real-time. Meskipun kesederhanaan Pong membatasi kedalaman komentar yang mungkin, komunitas telah mengenali potensi sistem yang mendasarinya untuk aplikasi yang lebih kompleks. Pengembang menjelaskan bahwa pendekatan pengumpulan peristiwa, secara berkala menghasilkan metrik dari peristiwa tersebut, memprioritaskannya, menghasilkan teks komentar, mengantrikan output tersebut, dan kemudian mensintesis ucapan membentuk fondasi yang kuat yang dapat diterapkan pada game yang lebih kompleks.
Banyak komentator menyarankan bahwa game dengan ruang keadaan yang lebih kaya seperti catur, Texas Hold'Em, atau judul esports seperti Rocket League dan League of Legends akan mendapat manfaat signifikan dari teknologi ini. Seorang pengguna bahkan berbagi bahwa mereka telah mengimplementasikan komentator interaktif untuk Rocket League yang juga sekaligus menjadi partner duo Anda pada akhir 2024.
Potensi Aplikasi di Luar Gaming
- Penyiaran esports ( League of Legends , Rocket League )
- Komentar catur dan poker
- Narasi tempat kerja untuk sesi coding
- Alat pendidikan
- Game simulasi olahraga
Menciptakan Narasi Olahraga Realistis Melalui Sejarah Simulasi
Yang membedakan xPong adalah penciptaan konteks historis yang kaya. Sistem ini mensimulasikan 15 tahun sejarah turnamen dengan 64 pemain yang bersaing di empat turnamen besar setiap tahun, semuanya dilacak menggunakan peringkat ELO. Sejarah simulasi ini menciptakan dasar untuk komentar yang lebih menarik yang mereferensikan pertandingan masa lalu, persaingan pemain, dan trajektori karier.
Data itu sendiri tidak menyenangkan - Anda membutuhkan metrik yang bagus juga - untuk korelasi yang menyenangkan! Metrik tidak harus sempurna, bagaimanapun, manusia tidak sempurna. Kuncinya adalah keterlibatan.
Pengembang menggunakan pencarian tetangga terdekat menggunakan KD-tree untuk secara efisien menemukan pertandingan historis yang serupa, memungkinkan komentar untuk menarik paralel antara gameplay saat ini dan turnamen masa lalu. Pendekatan ini menunjukkan bagaimana komentar AI dapat menciptakan narasi yang menarik bahkan dalam lingkungan game sederhana.
Implementasi Teknis xPong
- Menggunakan
gpt-4o-mini-ttsdari OpenAI untuk menghasilkan komentar secara real-time - Sistem komentar tiga lapis: komentar pembuka, komentar bola-per-bola selama permainan, dan komentar penutup
- Pipeline berbasis peristiwa untuk menghasilkan komentar
- Mensimulasikan 15 tahun sejarah turnamen dengan peringkat pemain berbasis ELO
- Menggunakan pencarian tetangga terdekat untuk mereferensikan pertandingan historis yang serupa
- Dibangun dengan Python dan Eel (pustaka mirip Electron)
Tantangan Teknis dan Aplikasi Masa Depan
Batasan utama yang diidentifikasi oleh pengguna adalah latensi—penundaan antara tindakan dalam game dan komentar yang sesuai karena overhead pemrosesan. Untuk game yang cepat, ini bisa menyebabkan komentar tertinggal dari aksi. Beberapa komentator menyarankan solusi seperti bekerja dengan agregat metrik daripada angka presisi dan menerapkan teknik pipelining untuk mengurangi latensi yang terlihat menjadi kurang dari 500ms.
Di luar gaming, komunitas membayangkan aplikasi kreatif untuk sistem komentar AI serupa, termasuk pendamping tempat kerja yang menarasikan sesi coding dalam gaya komentator olahraga atau dokumentator alam, dan siaran e-sports yang ditingkatkan yang dapat melengkapi komentator manusia dengan wawasan statistik yang detail.
Seiring dengan peningkatan sintesis suara AI dan model bahasa, teknologi yang didemonstrasikan dalam xPong bisa segera menemukan jalannya ke dalam gaming dan penyiaran mainstream. Waralaba game olahraga besar seperti Madden NFL dan NBA 2K, yang sudah menampilkan sistem komentar pra-rekaman yang canggih, mungkin pada akhirnya akan menggabungkan komentar AI dinamis untuk menciptakan pengalaman yang lebih mendalam yang tidak pernah mengulang kalimat yang sama.
Eksperimen xPong, meskipun sederhana dalam pelaksanaannya, menawarkan sekilas tentang bagaimana komentar yang dihasilkan AI dapat mengubah tidak hanya cara kita bermain game, tetapi juga bagaimana kita mengalami semua bentuk kompetisi dan hiburan di masa depan.
Referensi: xPong