تبدیل بازی سوپر ماریو به بنچمارکی برای مقایسه عملکرد مدل‌های هوش مصنوعی + فیلم

محققان گروه «Hao AI Lab» در دانشگاه کالیفرنیا سن دیگو، هوش مصنوعی را وارد دنیای بازی‌های کلاسیک کردند و از این رو مدل‌های هوش مصنوعی مطرح را در نسخه‌ای خاص از «Super Mario Bros» به چالش کشیدند.

در واقع این نسخه از بازی که در شبیه‌ساز اجرا می‌شد، به کمک فریم‌ورک داخلی «GamingAgent» به هوش مصنوعی امکان کنترل مستقیم ماریو را می‌داد.

در این رقابت بین هوش مصنوعی‌های شناخته‌شده، مدل Claude 3.7 از شرکت آنتروپیک بهترین عملکرد را داشت و پس از آن نسخه Claude 3.5 قرار گرفت، مدل‌های معروفی مانند جمینای ۱.۵ پرو از گوگل و GPT-4o از OpenAI نتوانستند چندان خوب عمل کنند.

اما نکته جالب این است که مدل‌ها برای هدایت ماریو باید دستورات را به‌صورت کدهای پایتون تولید می‌کردند.

 GamingAgent به مدل‌ها اطلاعات اولیه‌ای مثل اینکه مانع یا دشمن نزدیک است، به چپ بپر و اسکرین‌شات‌هایی از محیط بازی ارائه می‌کرد. سپس مدل‌ها باید با تحلیل این داده‌ها، استراتژی‌هایی برای عبور از موانع، جمع‌آوری سکه‌ها و پیشرفت در مراحل طراحی می‌کردند.