چیٹ جی پی ٹی کی کارکردگی پہلے سے زیادہ خراب ، تحقیق

نیوزٹوڈے: حال ہی میں، وقت کے ساتھ ساتھ GPT-4 کی کارکردگی بہتر ہونے کی بجائے تنزلی کے حوالے سے ایک غیر متوقع مشاہدہ ہوا ہے۔ AI ماڈل کے ردعمل کے معیار میں کمی کے بارے میں اتفاق، اگرچہ ابتدائی طور پر مکمل طور پر انفرادی تجربات پر مبنی تھا، اب اسے تجرباتی حمایت حاصل ہو گئی ہے۔حالیہ مطالعات نے یہ ثابت کیا ہے کہ GPT-4 کے جون کی مختلف حالتوں میں مارچ کے ورژن کے مقابلے میں خاص طور پر خراب کارکردگی ہے جب کچھ کاموں کی بات آتی ہے۔ مثال کے طور پر، 500 مسائل کا ایک سیٹ ترتیب دیا گیا تھا، جس میں ماڈل کو یہ شناخت کرنے کی ضرورت ہوتی ہے کہ آیا کوئی دیا ہوا عدد پرائم تھا۔نتائج تشویشناک تھے۔

مارچ ماڈل نے 488 مسائل کو درست طریقے سے حل کیا، لیکن جون ماڈل صرف 12 درست جوابات جمع کر سکا۔ یہ درستگی میں زبردست کمی کی نشاندہی کرتا ہے، متاثر کن 97.6% سے مایوس کن 2.4% تک!سائنسدانوں نے چین آف تھاٹ طریقہ استعمال کرتے ہوئے ماڈل کی تجزیاتی صلاحیت کو بڑھانے کی کوشش کی۔ اس میں ماڈل کو اس بات کا تعین کرنے کے کام کو توڑنے کی ترغیب دینا شامل ہے کہ آیا '17077' آسان، مرحلہ وار حسابات میں ایک بنیادی نمبر ہے۔ یہ طریقہ عام طور پر ماڈل کے آؤٹ پٹ کے معیار کو بڑھاتا ہے۔ تاہم، GPT-4 کا اپ ڈیٹ شدہ ورژن ان درمیانی مراحل کو پیدا کرنے سے قاصر تھا، جس کی وجہ سے "نہیں" کا غلط جواب آیا۔ مزید یہ کہ ماڈل کی کوڈ تیار کرنے کی صلاحیت میں بھی نمایاں کمی دیکھی گئی ہے۔