बेंचमार्क था दृष्टि-भाषा मॉडल का मूल्यांकन करने के लिए डिज़ाइन किया गया जैसे GPT-4O, क्लाउड सॉनेट 3.7, और मिथुन 2.5 प्रो 20 लोकप्रिय खेलों के एक सेट का उपयोग करनाशामिल कयामत, फारस के राजकुमारऔर Warcraft II।

कोड या विशेष इनपुट पर भरोसा करने के बजाय, इन मॉडलों को केवल अपने अगले कदम को तय करने के लिए विजुअल गेम स्क्रीन दिया गया था। एआई एक स्क्रीनशॉट लेता है, इसका विश्लेषण करता है, एक कार्रवाई का सुझाव देता है, और फिर इसे बाहर ले जाने की कोशिश करता है।

क्या आप जानते हैं?

क्रिप्टो के साथ होशियार और अमीर होना चाहते हैं?

सदस्यता लें – हम हर हफ्ते नए क्रिप्टो व्याख्याकार वीडियो प्रकाशित करते हैं!

10 सबसे बड़े क्रिप्टो घोटाले और उनसे कैसे बचें (एनिमेटेड)

यह देरी विशेष रूप से है जैसे तेज-तर्रार खेलों में ध्यान देने योग्य कयामतजहां त्वरित प्रतिक्रियाएं महत्वपूर्ण हैं। यदि AI को जवाब देने में बहुत लंबा समय लगता है, तो स्क्रीन पर स्थिति पहले ही बदल गई है, जो इसके निर्णय को पुराना बना देती है। उदाहरण के लिए, एक दुश्मन स्थानांतरित हो सकता है, या मॉडल प्रतिक्रिया देने से पहले खिलाड़ी पहले से ही खतरे में हो सकता है।

अनुसंधान टीम के अनुसार, वर्तमान मॉडल न केवल प्रतिक्रिया करने के लिए धीमा हैं, बल्कि बुनियादी कार्यों के साथ भी संघर्ष करते हैं। वे अक्सर आइटम याद करते हैं, पर्यावरण के साथ ठीक से बातचीत करने में विफल रहते हैं, या प्रगति किए बिना समान क्रियाओं को दोहराते रहते हैं।

टीम पुराने गेम बॉय और एमएस-डॉस गेम्स का इस्तेमाल किया क्योंकि उनके सरल ग्राफिक्स और विभिन्न प्रकार के नियंत्रण प्रकार यह परीक्षण करने का एक अच्छा तरीका प्रदान करें कि मॉडल कितनी अच्छी तरह से अंतरिक्ष और समय को समझते हैं।

बेंचमार्क को कंप्यूटर वैज्ञानिक एलेक्स झांग द्वारा विकसित किया गया था, जो व्याख्या की इन खेलों से पता चलता है कि एआई वास्तविक समय में मज़बूती से गेम खेलने से पहले कितना काम की जरूरत है।

इस बीच, 14 अप्रैल को, मेटा को अपने एआई सिस्टम को प्रशिक्षित करने के लिए अपने प्लेटफार्मों से सार्वजनिक पदों का उपयोग करने के लिए यूरोपीय संघ के डेटा नियामक से अनुमोदन प्राप्त हुआ। इसका अर्थ क्या है? पूरी कहानी पढ़ें।