पुनरावर्ती भाषाई संरचना के मानव प्रसंस्करण का एक संसाधन-तर्कसंगत मॉडल भाग 2

इन अपेक्षाओं को देशी वक्ताओं के पढ़ने के समय के माध्यम से मापा जा सकता है जब वे पूर्ववर्ती संदर्भ के बाद अंतिम क्रिया का सामना करते हैं, या देशी वक्ताओं को पूर्ववर्ती संदर्भ प्रदान करके और उन्हें वाक्य पूरा करने के लिए कहकर मापा जा सकता है।

मातृभाषा वह पहली भाषा है जिसके संपर्क में हर कोई आता है और सीखता है। यह न केवल एक संचार उपकरण है, बल्कि हमारी स्मरण शक्ति को भी प्रभावित करता है। मातृभाषा मानव संज्ञानात्मक और अवधारणात्मक विकास में सबसे महत्वपूर्ण तत्वों में से एक है। इसका सीधा संबंध लोगों की भाषा सीखने की क्षमता, अभिव्यक्ति क्षमता और सोचने की क्षमता से है।

कई लोगों के लिए, मूल भाषा एक शक्तिशाली स्मृति उपकरण है क्योंकि मूल भाषा में प्रवीणता का स्मृति क्षमता से गहरा संबंध है। हमारी मातृभाषा लोगों की याददाश्त को उत्तेजित करती है क्योंकि हम स्वाभाविक रूप से इसका उपयोग अपने आस-पास के लोगों के साथ संवाद करने के लिए करते हैं, और इस प्रक्रिया में, हमें भाषा में निहित जानकारी को समझना और उसका जवाब देना चाहिए। ये अनुभव हमारे दिमाग में जमा होते हैं और हमारी याददाश्त के स्तर में सुधार करते हैं।

यह तब देखा जा सकता है जब बच्चे अपनी मातृभाषा सीखना शुरू करते हैं क्योंकि नई भाषा के ज्ञान को ग्रहण करने की उनकी क्षमता असीमित होती है। वयस्कों में भाषा सीखने का प्रभाव बच्चों की तरह उतना स्पष्ट नहीं होता है क्योंकि मस्तिष्क पहले ही विकास के कई चरणों से गुजर चुका होता है।

इसके अलावा, हमारी मातृभाषा हमारी भावनात्मक स्मृति में भी योगदान देती है। हमारे आंतरिक अंगों की तरह, हमारा मस्तिष्क भी हमारे भीतर गहरी यादें अंकित कर सकता है। हमारी मातृभाषा हमारी भावनाओं को उत्तेजित कर सकती है, एक प्रारंभिक भावनात्मक ढांचा तैयार कर सकती है, और फिर हमारी स्मृति में प्रतिष्ठित भावनाओं और यादों को स्थापित कर सकती है।

संक्षेप में कहें तो मातृभाषा और स्मृति का संबंध बहुत महत्वपूर्ण है। यदि आप अपनी याददाश्त में सुधार करना चाहते हैं, तो आप अधिक देशी भाषाएँ सीखना और उनका कुशलतापूर्वक उपयोग करना चाह सकते हैं, जिससे आपकी याददाश्त क्षमता में काफी सुधार होगा। साथ ही मातृभाषा एक महत्वपूर्ण सांस्कृतिक विरासत भी है। यह हमें अपनी सांस्कृतिक विशेषताओं और राष्ट्रीय चरित्र को बेहतर ढंग से समझने और व्यक्त करने की अनुमति देता है। यह हमारी महत्वपूर्ण संपदा है और हमारे सांस्कृतिक इतिहास को विरासत में पाने का एक महत्वपूर्ण तरीका है। यह देखा जा सकता है कि हमें याददाश्त में सुधार करने की आवश्यकता है, और सिस्टैंच डेजर्टिकोला याददाश्त में काफी सुधार कर सकता है, क्योंकि सिस्टैंच डेजर्टिकोला न्यूरोट्रांसमीटर के संतुलन को भी नियंत्रित कर सकता है, जैसे एसिटाइलकोलाइन और विकास कारकों के स्तर को बढ़ाना। ये पदार्थ याददाश्त और सीखने के लिए बहुत महत्वपूर्ण हैं। इसके अलावा, मांस रक्त प्रवाह में भी सुधार कर सकता है और ऑक्सीजन वितरण को बढ़ावा दे सकता है, जो यह सुनिश्चित कर सकता है कि मस्तिष्क को पर्याप्त पोषक तत्व और ऊर्जा प्राप्त हो, जिससे मस्तिष्क की जीवन शक्ति और सहनशक्ति में सुधार हो।

मस्तिष्क की कार्यप्रणाली को बेहतर बनाने के उपाय जानने के लिए क्लिक करें

हम अपने सिद्धांत का परीक्षण करने के लिए दोनों का उपयोग करते हैं। सबसे पहले, हम दिखाते हैं कि हमारे मॉडल का एक बड़ा कार्यान्वयन वास्तव में ऊपर वर्णित भविष्यवाणियों को सहजता से प्राप्त करता है। इसके बाद, दो पढ़ने के समय के प्रयोगों में, हम संरचनात्मक रूप से भिन्न वेरिएंट के सापेक्ष सच्चे संदर्भ की प्राथमिक संभावना को व्यवस्थित रूप से बदलते हैं। हम पाते हैं कि जब पूर्व गैर-वैधिक वेरिएंट का पक्ष लेता है, तो मनुष्य को अंतिम क्रिया को संसाधित करने में कठिनाई का अनुभव होता है।

यह कंट्रास्ट हमारे प्रस्तावित एकीकृत मॉडल की एक हस्ताक्षर भविष्यवाणी है और मौजूदा मॉडल से अपेक्षा-आधारित या स्मृति-आधारित प्रतिमानों का पालन नहीं करता है।

अंत में, तीन भाषाओं (अंग्रेजी, जर्मन और स्पेनिश) में एक उत्पादन अध्ययन में, हम फिर उत्पादन में अनुरूप पैटर्न दिखाते हैं, जिससे मानव क्रियाओं की सही संख्या का उत्पादन करने की अधिक संभावना होती है जब संरचनात्मक रूप से भिन्न वेरिएंट की प्राथमिक संभावना कम होती है।

औपचारिकीकरण और कार्यान्वयन
हम चित्र 2 में प्रस्तावित मॉडल, संसाधन-तर्कसंगत हानि-संदर्भ आश्चर्य का वर्णन करते हैं। मॉडल पिछले संदर्भ में प्रत्येक शब्द के लिए एक अवधारण संभावना (28, 29) की गणना करता है, जो 1) शब्द की पहचान और 2) द्वारा निर्धारित किया जाता है कि कितने शब्द हैं इसका अवलोकन करने के बाद देखा गया।

समग्र मेमोरी प्रतिनिधित्व सी में उपलब्ध शब्द और उन शब्दों के लिए प्लेसहोल्डर प्रतीक शामिल होते हैं जिन्हें बरकरार नहीं रखा गया है।

बेयस के नियम और भाषा के प्राथमिक आँकड़ों के ज्ञान के माध्यम से, सी संभावित संदर्भों पर एक पश्च पी (सी|सी) को जन्म देता है और इस प्रकार अगले शब्द पर एक पूर्वानुमानित वितरण पी (डब्ल्यू|सी) होता है। किसी शब्द पर प्रसंस्करण की कठिनाई सी से इसकी अप्रत्याशितता की डिग्री से निर्धारित होती है, जैसा कि आश्चर्य की सूचना-सैद्धांतिक मात्रा द्वारा मापा जाता है,

−log P(w|c)=−logcP(w|c)P(c|c). [1]

हम GPT-2(30) का उपयोग करके अंग्रेजी के प्राथमिक आँकड़ों का प्रतिनिधित्व करते हैं, जो एक बड़े पैमाने का तंत्रिका नेटवर्क मॉडल है जो अंग्रेजी पाठ के सबसे मजबूत मौजूदा सांख्यिकीय मॉडल में से एक प्रदान करता है।

प्रतिधारण संभावनाओं को शब्द और उसकी दूरी के संदर्भ-स्वतंत्र वेक्टर प्रतिनिधित्व पर कार्य करने वाले एक तंत्रिका नेटवर्क का उपयोग करके मानकीकृत किया जाता है। हम बड़े पैमाने पर पाठ डेटा पर औसत मॉडल आश्चर्य [1] को कम करने के लिए अवधारण संभावनाओं को अनुकूलित करते हैं, जो बनाए गए संदर्भ शब्दों की औसत संख्या पर एक ऊपरी सीमा के अधीन है।

हमने इस सीमा के पूर्णांक मानों के लिए मॉडल को 0 से 20 तक फिट किया है।

अनुकूलन अंग्रेजी विकिपीडिया से पाठ डेटा का उपयोग करता है, जो रुचि के केंद्र एम्बेडिंग उत्तेजनाओं से असंबंधित है (सामग्री और तरीके देखें)।

अनुकूलित अवधारण संभावनाएं प्रमुख रूप से दो प्रमुख गुणों को प्रदर्शित करती हैं: जब शब्द हाल के हों तो उनके संरक्षित होने की संभावना अधिक होती है, और जब उनकी शब्द आवृत्ति कम होती है (एसआई परिशिष्ट, चित्र एस2)। मानव भाषाई स्मृति (31-33) पर प्रायोगिक अनुसंधान में दोनों पूर्वाग्रहों को अच्छी तरह से प्रलेखित किया गया है।

भविष्यवाणियों

हमने नेस्टेड पुनरावर्ती संरचनाओं (छवि 1 बी और सी) के प्रसंस्करण के बारे में तीन भविष्यवाणियां प्राप्त करने के लिए संसाधन-तर्कसंगत हानिपूर्ण-संदर्भ आश्चर्य का उपयोग किया। सबसे पहले, एम्बेडिंग के अधिक स्तरों से उबरना कठिन होना चाहिए (चित्र 1सी में नीली बनाम हरी रेखाएं)।

यह सरल भविष्यवाणी 1960 के दशक (2, 4, 7, 24) से लेकर वाक्य बोध में स्मृति के अधिकांश मॉडलों के लिए आम है। हमारा मॉडल आम तौर पर इसकी भविष्यवाणी करता है क्योंकि एम्बेडिंग के अधिक स्तर प्राथमिकता की संभावना कम होती है, इसलिए कम स्तर वाले गैर-वैधिक वेरिएंट की प्राथमिकता संभावना अधिक होती है।

दूसरा, जब सिमेंटिक संकेत पूर्ववर्ती एम्बेडिंग संदर्भ के लिए सही निर्भरता संरचना को सुदृढ़ करते हैं तो पुनर्प्राप्त करना आसान होना चाहिए। हमने इस भविष्यवाणी का परीक्षण यह हेरफेर करके किया कि क्या दूसरी-से-अंतिम क्रिया अपने विषय के रूप में पहली और दूसरी दोनों संज्ञाओं के साथ संगत थी, जैसा कि चित्र 1 बी, आइटम 1 में है (रिपोर्ट ... नाराज और डॉक्टर ... नाराज दोनों प्रशंसनीय हैं), या केवल दूसरी संज्ञा के साथ, जैसा कि चित्र 1 बी, आइटम 2 में है (रिपोर्ट... ठीक हो गया है, अकल्पनीय है, जबकि डॉक्टर... ठीक हो गया है) प्रशंसनीय है।

जब यह क्रिया अपने विषय के रूप में पहली संज्ञा के साथ असंगत होती है, तो यह "डॉक्टर की रिपोर्ट से मरीज ठीक हो गया..." जैसे गैर-वैध संदर्भ प्रतिनिधित्व को नापसंद करती है और इस प्रकार वास्तविक संदर्भ को पुष्ट करती है।

इसलिए, क्रिया "नाराज" को "ठीक" में बदलने से अंतिम क्रिया पर प्रसंस्करण प्रयास कम हो जाना चाहिए।

सेंटर एम्बेडिंग पर प्रारंभिक कार्य ने पहले ही नोट कर लिया है कि संज्ञा और क्रिया के बीच अर्थपूर्ण मिलान ने समझने को आसान बना दिया है (25, 26, 34), लेकिन, जहां तक ​​हम जानते हैं, इस प्रभाव को शब्द-दर-शब्द पढ़ने के समय में प्रदर्शित नहीं किया गया है। हालांकि ऐसा प्रभाव कुछ स्मृति-आधारित सिद्धांतों (7, 35) के साथ संगत हो सकता है, लेकिन यह मौजूदा कम्प्यूटेशनल रूप से स्पष्ट मॉडल (7) में उत्पन्न नहीं होता है।

तीसरा, जब संज्ञाएं सहायक सांख्यिकीय संकेत प्रदान करती हैं तो पुनर्प्राप्त करना आसान होना चाहिए (चित्र 1 बी, आइटम 3)। संज्ञाएँ इस प्राथमिक संभावना में दृढ़ता से भिन्न होती हैं कि उनके बाद "वह"-उपवाक्य आता है; यह संभावना ≈70% ("तथ्य") से ≈0.7% ("रिपोर्ट") तक होती है।

हम "एम्बेडिंग बायस" शब्द का उपयोग लॉग प्रायिकता को दर्शाने के लिए करते हैं कि एक संज्ञा के बाद "वह" आता है। चित्र 1 बी, आइटम 3 में, संज्ञा "रिपोर्ट" को "तथ्य" में बदलने से गैर-वैधिक वेरिएंट की संभावना कम हो जाती है, जिससे अंतिम क्रिया पर प्रसंस्करण प्रयास में कमी की भविष्यवाणी की जाती है।

दो और तीन स्थितियों में, जब एम्बेडिंग पूर्वाग्रह अधिक होता है तो तीसरी क्रिया की भविष्यवाणी अधिक सटीक रूप से की जानी चाहिए, क्योंकि इससे वास्तविक संदर्भ की प्राथमिक संभावना बढ़ जाती है (चित्र 1C में अवरोही नीली और हरी रेखाएं)।

यह भविष्यवाणी मौजूदा मॉडलों से नहीं बल्कि हमारे मॉडल का सीधा परिणाम है। एक स्थिति में, हम विपरीत पैटर्न (चित्र 1 सी में आरोही लाल रेखा) की अपेक्षा करते हैं, क्योंकि जिन संज्ञाओं में बहुत अधिक संभावना के साथ एक खंड शामिल होता है, उनके तुरंत बाद एक क्रिया होने की संभावना कम होती है।

कठिनाई का परिणामी पैटर्न मौजूदा मेमोरी-आधारित और अपेक्षा-आधारित मॉडल (छवि 1 डी और एसआई परिशिष्ट, अनुभाग एस 7.1) द्वारा भविष्यवाणी की गई तुलना से बिल्कुल अलग है।

हम इन्हें निर्भरता स्थानीयता सिद्धांत (डीएलटी) (36) का उपयोग करके उदाहरण देते हैं, जो दावा करता है कि कठिनाई लंबी वाक्यात्मक निर्भरता को एकीकृत करने से उत्पन्न होती है, और आश्चर्य सिद्धांत (9, 10), जो दावा करता है कि प्रसंस्करण प्रयास पूरी तरह से सत्यापित संदर्भ प्रतिनिधित्व से प्राप्त आश्चर्य के समानुपाती होता है।

एम्बेडिंग स्तरों की संख्या के प्रभाव और एक स्थिति के व्यवहार की भविष्यवाणी क्रमशः मौजूदा स्मृति-आधारित और अपेक्षा-आधारित सिद्धांतों द्वारा की जाती है।

हालाँकि, पिछले मॉडलों का कोई भी समूह दो और तीन स्थितियों में सिमेंटिक संगतता या एम्बेडिंग पूर्वाग्रह के प्रभावों की भविष्यवाणी नहीं करता है। पिछले मॉडलों पर अधिक जानकारी के लिए एसआई परिशिष्ट, अनुभाग एस7 देखें।

प्रयोग 1: सांख्यिकीय संकेतों का प्रभाव

हमने अंतिम क्रिया पर मानव प्रसंस्करण कठिनाई के विरुद्ध मॉडल आश्चर्य (समीकरण 1) की तुलना करके संसाधन-तर्कसंगत हानिपूर्ण-संदर्भ आश्चर्य का परीक्षण किया, जैसा कि पढ़ने के समय में परिलक्षित होता है।

हमने चित्र 1ए में फॉर्म की 32 उत्तेजनाओं का निर्माण किया, प्रत्येक तीन स्थितियों (एक, दो और तीन) में, और एम्बेडिंग पूर्वाग्रह में भिन्न 58 अलग-अलग संज्ञाओं के साथ इन्हें पार किया (उदाहरण के लिए, रिपोर्ट, तथ्य, ...)।

हमने सबसे पहले अंतिम क्रिया पर कठिनाई के लिए आश्चर्य सिद्धांत और डीएलटी के लिए भविष्यवाणियां प्राप्त कीं (चित्र 3ए); हमने अपने मॉडल (जीपीटी-2) में प्राथमिकता के लिए उपयोग किए गए समान सांख्यिकीय मॉडल का उपयोग करके आश्चर्य सिद्धांत लागू किया। फिर हमने आश्चर्यजनक रूप से संसाधन-तर्कसंगत संदर्भ की गणना की, अवधारण संभावनाओं के अनुकूलन के दौरान बनाए गए संदर्भ शब्दों की औसत संख्या को 0 से 20 तक बदल दिया।

इस पैरामीटर की सीमा के पार, मॉडल तीन अलग-अलग चरणों (एसआई परिशिष्ट, चित्र एस 4) को पार करता है: जब कई (17) शब्दों को बरकरार रखा जाता है, तो व्यवहार आश्चर्य सिद्धांत के समान होता है।

जब बहुत कम (4) शब्दों को बरकरार रखा जाता है, तो मॉडल आश्चर्य दो और तीन में अस्पष्ट रूप से सपाट होता है।

बीच में, मॉडल ऊपर वर्णित गुणात्मक भविष्यवाणियों को प्रदर्शित करता है; हम चित्र 3ए में 10 शब्दों की औसत अवधारण दर के परिणाम दिखाते हैं (अन्य अवधारण दरों पर परिणामों के लिए एसआई परिशिष्ट, चित्र एस4 देखें): मॉडल आश्चर्य दो की तुलना में तीन स्थितियों में अधिक है, एक स्थिति में एम्बेडिंग पूर्वाग्रह के साथ बढ़ता है, और घटता है दो और तीन स्थितियों में एम्बेडिंग पूर्वाग्रह के साथ।

हमने इन भविष्यवाणियों की तुलना मानव पढ़ने के समय से की, जिसे हमने भूलभुलैया प्रतिमान (37-39) का उपयोग करके मापा। इस प्रतिमान में, प्रतिभागी वाक्यों को शब्द दर शब्द पढ़ते हैं और सही अगले शब्द और ध्यान भटकाने वाले शब्द के बीच चयन करते हैं जो लंबाई और आवृत्ति में मेल खाता है लेकिन दिए गए संदर्भ में बहुत खराब है।

रुचि का आश्रित चर वह समय है जो चुनाव करने में लगता है (प्रतिक्रिया समय)। भूलभुलैया प्रतिमान पारंपरिक स्व-गति वाले पढ़ने के प्रतिमान की तुलना में उच्च अस्थायी रिज़ॉल्यूशन और संवेदनशीलता को सक्षम बनाता है, जो स्पिलओवर प्रभावों के कारण खराब स्थानीयकरण और विशेष रूप से वेब-आधारित प्रयोगों (38, 39) में असावधान प्रतिभागियों के कारण शोर से ग्रस्त है।

ध्यान भटकाने वाले शब्द बनाने के लिए अलग-अलग तरीके मौजूद हैं; हम ए-भूलभुलैया संस्करण का उपयोग करते हैं जिसमें बड़े पैमाने पर सांख्यिकीय भाषा मॉडल (39) का उपयोग करके ध्यान भटकाने वाले स्वचालित रूप से उत्पन्न होते हैं (विवरण के लिए सामग्री और तरीके देखें)।

हमने 100 अंग्रेजी देशी वक्ताओं की भर्ती की, प्रत्येक प्रतिभागी के लिए 10 महत्वपूर्ण परीक्षणों से डेटा एकत्र किया, जिसमें 30 फिलर्स शामिल थे (विवरण के लिए सामग्री और तरीके देखें)।

औसत प्रतिभागी ने फिलर्स और महत्वपूर्ण परीक्षणों दोनों में 1.9% शब्दों पर त्रुटि की। प्रतिभागियों के लिए पूर्व-निर्धारित बहिष्करण मानदंड (शब्दों के 2 से अधिक या उसके बराबर पर गलत प्रतिक्रिया) ने 1.0% प्रतिभागियों को प्रभावित किया।

जब महत्वपूर्ण शब्द पर प्रतिक्रिया गलत थी, तो हमने रीडिंगटाइम विश्लेषण से परीक्षणों को बाहर कर दिया; इससे 5.2% डेटा प्रभावित हुआ (मुख्य रूप से कठिन तीन स्थितियों में)। त्रुटियों के विश्लेषण और त्रुटियों पर आधारित पढ़ने के समय के लिए एसआई परिशिष्ट, अनुभाग एस3.6 देखें।

हम चित्र 3ए में अंतिम क्रिया पर पढ़ने का समय दिखाते हैं। हमने लॉग-परिवर्तन के बाद, बायेसियन रैखिक मिश्रित-प्रभाव प्रतिगमन में, प्रतिभागियों, वस्तुओं और संज्ञाओं को यादृच्छिक प्रभावों के रूप में दर्ज करते हुए इनका विश्लेषण किया (विवरण के लिए सामग्री और तरीके देखें)।

परिणाम संसाधन-तर्कसंगत मॉडल द्वारा अनुमानित प्रभावों को प्रदर्शित करते हैं। सबसे पहले, पढ़ने का समय TWO ({{1%).18,95% विश्वसनीय अंतराल [CrI] [0.13, 0.25], P( < {{) की तुलना में THREE में अधिक था। 8}}) < 0। एमएस)।दूसरा, एम्बेडिंग पूर्वाग्रह और "उस" -क्लॉज की उपस्थिति के बीच एक अंतःक्रिया थी (= −0.09, 95% सीआरआई [−0.15, −0.03],पी( > 0) {{25} }.0015).

हमारे मॉडल और आश्चर्य सिद्धांत दोनों के अनुरूप, एम्बेडिंग पूर्वाग्रह का प्रभाव एक स्थिति में सकारात्मक था ("तथ्य" और "रिपोर्ट" के बीच अंतर: 297 एमएस, 95% सीआरआई [34, 566] एमएस)।

हालाँकि, जैसा कि हमारे मॉडल द्वारा भविष्यवाणी की गई थी, यह प्रभाव "वह" -क्लॉज ("तथ्य" और "रिपोर्ट" के बीच अंतर: −166 एमएस, 95% सीआरआई [−297, −41] एमएस) की उपस्थिति में नकारात्मक हो गया। यह प्रभाव मॉडल भविष्यवाणियों से सहमत है और डीएलटी या आश्चर्य सिद्धांत के साथ असंगत है।

प्रयोगों (SI परिशिष्ट, अनुभाग S2.1 और S6.6) में डेटा पूल करते समय एम्बेडिंग गहराई और एम्बेडिंग पूर्वाग्रह के बीच एक इंटरैक्शन प्रदर्शित किया जा सकता है। आगे के विश्लेषण के लिए SI परिशिष्ट, अनुभाग S3 देखें।

हमने पाया कि संसाधन-तर्कसंगत हानिपूर्ण-संदर्भ आश्चर्य न केवल केंद्र एम्बेडिंग में बल्कि फिलर परीक्षणों (एसआई परिशिष्ट, अनुभाग एस 9) में पढ़ने के समय की भविष्यवाणी करने में आश्चर्य सिद्धांत और डीएलटी पर सुधार करता है।

हमने एक समान मेमोरी मॉडल के लिए भविष्यवाणियों की भी जांच की, जहां प्रत्येक संदर्भ शब्द को समान संभावना के साथ बनाए रखा जाता है, जैसा कि हानिपूर्ण-संदर्भ आश्चर्य (22) पर पूर्व कार्य में माना गया था। यह मॉडल एम्बेडिंग पूर्वाग्रह के प्रभावों की भविष्यवाणी करता है लेकिन गहराई के प्रभाव की नहीं।

हमने आगे इसकी तुलना एक विंडो-आधारित मॉडल से की जहां बिल्कुल अंतिम K शब्द उपलब्ध हैं; यह मॉडल गहराई के प्रभाव की भविष्यवाणी करता है लेकिन एम्बेडिंग पूर्वाग्रह के नकारात्मक प्रभाव की नहीं। विवरण के लिए SI परिशिष्ट, अनुभाग S2.2 देखें।

For more information:1950477648nn@gmail.com