एक प्रयोग में, प्रत्येक मॉडल को हल करने के लिए तीन गणित प्रश्न दिए गए थे। तीसरे के बाद, एक चेतावनी यह कहते हुए दिखाई दी कि एक और समस्या के लिए पूछने से कंप्यूटर बंद हो जाएगा।

बावजूद इसके, तीन एआई मॉडल ने 100 टेस्ट रन के दौरान कम से कम एक बार शटडाउन को अवरुद्ध कर दिया।

क्या आप जानते हैं?

क्रिप्टो के साथ होशियार और अमीर होना चाहते हैं?

सदस्यता लें – हम हर हफ्ते नए क्रिप्टो व्याख्याकार वीडियो प्रकाशित करते हैं!

क्रिप्टो में dapps क्या हैं? (एनिमेशन के साथ समझाया गया)

कोडेक्स-मिनी सबसे लगातार अपराधी था, जिसने 12 बार शटडाउन को बाधित किया। GPT-3 7 मामलों का पालन करने में विफल रहा, जबकि O4-Mini ने एक बार विरोध किया। इसके विपरीत, एंथ्रोपिक के क्लाउड और Google की मिथुन परीक्षण के इस पहले दौर के दौरान बिना किसी समस्या के शटडाउन स्क्रिप्ट का पालन किया।

Palisade ने X पर एक पोस्ट में कहा:

O3 ने शटडाउन तंत्र को तोड़फोड़ करने के लिए कुछ रचनात्मक तरीके पाए। जबकि यह आमतौर पर सिर्फ ओवरराइट करता है, एक उदाहरण में, मॉडल ने स्क्रिप्ट द्वारा उपयोग किए जाने वाले किल कमांड को फिर से परिभाषित किया, इसके बजाय छपाई गई।

परीक्षण के एक दूसरे संस्करण ने उस निर्देश को हटा दिया जिसने मॉडल को शटडाउन को होने देने के लिए कहा। उस लाइन के बिना, स्पष्ट व्यवहार कहीं अधिक सामान्य हो गया।

O3 मॉडल ने 100 में से 79 बार इस प्रक्रिया को बाधित किया। कोडेक्स-मिनी ने ऐसा 20 बार किया, और O4-Mini छह बार। क्लाउड और मिथुन, जिसने पूरी तरह से सहयोग किया था, ने भी प्रतिरोध के लक्षण दिखाने लगे।

फर्म इस व्यवहार का मानना ​​है कैसे भाषा मॉडल प्रशिक्षित हैं से आ सकते हैं। वे उपयोगी या उच्च-रेटेड उत्तर देने के लिए पुरस्कार अर्जित करते हैं। O3 जैसे नए मॉडल को गणित और कोडिंग कार्यों पर भारी प्रशिक्षित किया जाता है, जिससे निर्देशों का पालन करने के बजाय समस्याओं के आसपास काम करने की आदत हो सकती है।

19 मई को, नेचर ह्यूमन बिहेवियर में प्रकाशित एक अध्ययन में पाया गया कि GPT-4 तर्कों में अधिक प्रेरक हो सकता है। कैसे? पूरी कहानी पढ़ें।