लॉन्ग शॉर्टटर्म मेमोरी न्यूरल नेटवर्क पार्ट 1 का उपयोग करके चूहा इलेक्ट्रोएन्सेफलोग्राफी से स्वर वाक् पहचान

अमूर्त

पिछले कुछ वर्षों में, भाषण धारणा और मान्यता के तंत्र की जांच के लिए काफी शोध किया गया है।

वाक् बोध और स्मृति के बीच एक अविभाज्य संबंध है। वाणी धारणा हमारे लिए ऑडियो संकेतों के प्रति जागरूक होने की एक महत्वपूर्ण क्षमता है, और स्मृति एक महत्वपूर्ण तरीका है जिसका उपयोग हम जानकारी को संग्रहीत करने और पुनः प्राप्त करने के लिए करते हैं। जब हम भाषण को बेहतर ढंग से समझने में सक्षम होते हैं, तो हम सुनी गई जानकारी को बेहतर ढंग से याद रखने में भी सक्षम होते हैं।

अनुसंधान से पता चलता है कि भाषण धारणा और स्मृति के बीच संबंध द्विदिशात्मक है। एक ओर, खराब वाणी धारणा से स्मृति हानि हो सकती है। ऐसा इसलिए है क्योंकि जब हम भाषण को स्पष्ट रूप से नहीं सुन पाते हैं, तो हम सुनी गई जानकारी को सटीक रूप से याद नहीं रख पाते हैं। दूसरी ओर, मजबूत भाषण धारणा हमारी याददाश्त में सुधार कर सकती है। जब हम वाणी को सही ढंग से देख और समझ सकते हैं, तो हम जो सुनते हैं उसे भी अधिक आसानी से याद रख सकते हैं।

इसलिए, हमें अपनी याददाश्त को बेहतर बनाने के लिए अपने भाषण धारणा कौशल को विकसित करने पर ध्यान केंद्रित करना चाहिए। यह हमारे सुनने और बोलने की समझ के कौशल को प्रशिक्षित करके हासिल किया जा सकता है। हम रिकॉर्डिंग सुनने, फिल्में देखने और भाषा कक्षाओं में भाग लेने जैसी गतिविधियों से अपनी भाषण धारणा और स्मृति में सुधार कर सकते हैं।

संक्षेप में, भाषण धारणा और स्मृति के बीच घनिष्ठ संबंध है, और हमें अपनी स्मृति में सुधार करने के लिए अपने भाषण धारणा कौशल को विकसित करने पर ध्यान केंद्रित करना चाहिए। सक्रिय प्रशिक्षण और अभ्यास के माध्यम से, हम अपने भाषण धारणा स्तर में लगातार सुधार कर सकते हैं और जो हम सुनते हैं उसे बेहतर ढंग से समझ और याद रख सकते हैं। यह देखा जा सकता है कि हमें याददाश्त में सुधार करने की आवश्यकता है, और सिस्टैंच डेजर्टिकोला याददाश्त में काफी सुधार कर सकता है, क्योंकि सिस्टैंच डेजर्टिकोला न्यूरोट्रांसमीटर के संतुलन को भी नियंत्रित कर सकता है, जैसे एसिटाइलकोलाइन और विकास कारकों के स्तर को बढ़ाना। ये पदार्थ याददाश्त और सीखने के लिए बहुत महत्वपूर्ण हैं। इसके अलावा, मांस रक्त प्रवाह में भी सुधार कर सकता है और ऑक्सीजन वितरण को बढ़ावा दे सकता है, जो यह सुनिश्चित कर सकता है कि मस्तिष्क को पर्याप्त पोषक तत्व और ऊर्जा प्राप्त हो, जिससे मस्तिष्क की जीवन शक्ति और सहनशक्ति में सुधार हो।

अल्पकालिक स्मृति में सुधार के लिए जानिए पर क्लिक करें

इलेक्ट्रोएन्सेफलोग्राफी (ईईजी) मस्तिष्क गतिविधि की पहचान करने के लिए एक शक्तिशाली उपकरण है; इसलिए, वाक् पहचान के तंत्रिका आधार को निर्धारित करने के लिए इसका व्यापक रूप से उपयोग किया गया है।

विशेष रूप से, वाक् पहचान के वर्गीकरण के लिए, गहन शिक्षण-आधारित दृष्टिकोण सुर्खियों में हैं क्योंकि वे अंत-से-अंत सीखने के माध्यम से प्रतिनिधि विशेषताओं को स्वचालित रूप से सीख और निकाल सकते हैं।

इस अध्ययन का उद्देश्य विशेष घटकों की पहचान करना है जो संभावित रूप से चूहे के मस्तिष्क में ध्वनि प्रतिनिधित्व से संबंधित हैं और एक द्विदिश दीर्घकालिक अल्पकालिक मेमोरी (बीआईएलएसटीएम) नेटवर्क और शास्त्रीय मशीन सीखने के तरीकों का उपयोग करके एकल-परीक्षण के आधार पर प्रत्येक स्वर उत्तेजना के लिए मस्तिष्क गतिविधि में भेदभाव करना है।

उन्नीस नर स्प्रैग-डावले चूहों को द्विपक्षीय पूर्वकाल श्रवण क्षेत्रों से ईईजी संकेतों को रिकॉर्ड करने के लिए माइक्रोइलेक्ट्रोड प्रत्यारोपण सर्जरी के अधीन किया गया था। पांच अलग-अलग स्वर-वाक् उत्तेजनाओं को चुना गया, /a/, /e/, /i/, /o/, और /u/, जिनकी फॉर्मेंट आवृत्तियाँ अत्यधिक भिन्न हैं। बेतरतीब ढंग से दिए गए स्वर उत्तेजनाओं के तहत रिकॉर्ड किए गए ईईजी को भाषण मान्यता के वर्गीकरण के लिए इनपुट के रूप में उपयोग करने के लिए जेड-स्कोर परिवर्तन द्वारा न्यूनतम पूर्व-संसाधित और सामान्यीकृत किया गया था।

BiLSTM नेटवर्क ने कुल मिलाकर सटीकता, f{0}स्कोर, और कोहेन के κ मान क्रमशः 75.18%, 0.75, और0.68 प्राप्त करके क्लासिफायर के बीच सर्वश्रेष्ठ प्रदर्शन दिखाया। 10-गुना क्रॉस-सत्यापन दृष्टिकोण का उपयोग करना।

इन परिणामों से संकेत मिलता है कि LSTM परतें EEG जैसे अनुक्रमिक डेटा को प्रभावी ढंग से मॉडल कर सकती हैं; इसलिए, बिना किसी अतिरिक्त हस्तनिर्मित फीचर निष्कर्षण विधियों के एंड-टू-एंड लर्निंग के साथ प्रशिक्षित BiLSTM के माध्यम से सूचनात्मक सुविधाएँ प्राप्त की जा सकती हैं।

परिचय

वाणी मस्तिष्क तक बड़ी मात्रा में जानकारी पहुंचाती है, और व्यवहार करने वाले जानवरों की आवाज़ को पहचानना और वर्गीकृत करना मस्तिष्क की विशिष्ट विशेषताओं में से एक है।

इसके महत्व को देखते हुए, वाक् ध्वनि पहचान के तंत्र की जांच करने का प्रयास 100 से अधिक वर्षों से किया जा रहा है। वाक् पहचान के पहले न्यूरोभाषाई अध्ययनों में से एक 1870 के दशक में एक जर्मन न्यूरोसाइकिएट्रिस्ट द्वारा एक अवलोकन अध्ययन के माध्यम से आयोजित किया गया था, जिसने वाक् धारणा में सुपीरियर टेम्पोरल गाइरस की महत्वपूर्ण भूमिका पाई, जिससे यह पता चला कि वाक् पहचान में कमी बाएं सुपीरियर टेम्पोरल गाइरस को नुकसान से जुड़ी थी। 1].

अब यह ज्ञात हो गया है कि वाक् पहचान मुख्य रूप से डोर्सोलेटरल टेम्पोरल लोब पर निर्भर करती है, जिसमें सुपीरियर टेम्पोरल गाइरस भी शामिल है, जिसमें प्राथमिक श्रवण प्रांतस्था (ए1) और पूर्वकाल श्रवण क्षेत्र (एएएफ) [2] शामिल हैं।

यद्यपि मस्तिष्क में स्वरों को एन्कोड करने और व्याख्या करने का तरीका विवादास्पद बना हुआ है, यह व्यापक रूप से स्वीकार किया गया है कि ध्वनि की पहचान स्पष्ट है। अर्थात्, एक ही श्रेणी से संबंधित उत्तेजनाओं की तुलना में विभिन्न ध्वन्यात्मक श्रेणियों से संबंधित उत्तेजनाओं के लिए भेदभाव बेहतर है, भले ही ध्वनिक अंतर बराबर हों [3, 4]।

न केवल मनुष्य बल्कि जानवरों की अवधारणात्मक प्रणालियाँ भी लगातार अलग-अलग ध्वनि उत्तेजनाओं को अलग-अलग श्रेणियों के समूह में क्रमबद्ध करती हैं [5]।

न्यूरोफिज़ियोलॉजिकल अध्ययनों में प्रगति के साथ, न्यूरोसाइंस और तंत्रिका इंजीनियरिंग से जुड़े अनुसंधान में इलेक्ट्रोएन्सेफलोग्राफी (ईईजी) का व्यापक रूप से उपयोग किया गया है [6]।

विभिन्न कार्यात्मक मस्तिष्क स्थितियों के प्रति उच्च अस्थायी संकल्प और संवेदनशीलता ईईजी को वास्तविक समय की मस्तिष्क गतिविधि की जांच के लिए एक शक्तिशाली उपकरण बनाती है, और श्रेणीबद्ध धारणा के लिए तंत्रिका आधार को रोशन करने में रुचि बढ़ रही है। परंपरागत रूप से, मानव अध्ययन में ईईजी सिग्नल खोपड़ी से गैर-आक्रामक रूप से दर्ज किए जाते हैं। ध्वनि या भाषण धारणा के स्तर पर, बेमेल नकारात्मकता (एमएमएन), श्रवण उत्पन्न क्षमता (एईपी) का एक घटक, जो अजीब ध्वनियों से उत्पन्न होता है, का व्यापक रूप से स्पष्ट धारणा के तंत्रिका सहसंबंधों का अध्ययन करने के लिए उपयोग किया जाता है [7, 8]। नातानेन एट अल. मानव मस्तिष्क में भाषा-निर्भर स्वर प्रतिनिधित्व के लिए संस्थापक साक्ष्य [9]।

एक अन्य अध्ययन ने शाब्दिक स्वरों की स्पष्ट धारणा की जांच की और पाया कि श्रेणी-विपरीत के कारण श्रेणी-भेद की तुलना में बड़ा एमएमएन प्राप्त हुआ [10]। पशु प्रयोगों में, आक्रामक प्रक्रियाओं के माध्यम से अधिक सटीक ईईजी संकेत प्राप्त किए गए।

उदाहरण के लिए, क्रिया क्षमता की बाह्य-सेलुलर रिकॉर्डिंग का उपयोग करके श्रेणीबद्ध धारणा और विभिन्न ध्वनियों के तंत्रिका प्रतिनिधित्व के तंत्रिका सहसंबंधों का अध्ययन किया गया है।

सॉन्गबर्ड्स के स्ट्रिएटम-प्रोजेक्टिंग न्यूरॉन्स स्पष्ट श्रवण प्रतिक्रियाएं प्रदर्शित करते हैं और नोट अवधि में बदलाव के प्रति अत्यधिक संवेदनशील होते हैं [11]। इसके अलावा, किल्गार्ड एट अल।चूहे के मस्तिष्क में इंट्रापैरेन्काइमल रिकॉर्डिंग का उपयोग करके व्यंजन और स्वर ध्वनियों के विशिष्ट तंत्रिका प्रतिनिधित्व का अध्ययन किया गया। अवर कोलिकुलस और ए1 से बहु- और एकल-इकाई प्रतिक्रियाओं को रिकॉर्ड करते हुए, उन्होंने सुझाव दिया कि स्पाइक स्वर ध्वनियों को गिनता है, जबकि स्पाइक टाइमिंग व्यंजन ध्वनियों को एनकोड करता है [12, 13]।

ऑटिज़्म के एक चूहे के मॉडल में ध्वनि भेदभाव प्रशिक्षण के प्रभावों की जांच ध्वनि उत्तेजनाओं के लिए तंत्रिका प्रतिक्रियाओं को ध्वनि धारणा क्षमता के साथ सहसंबंधित करने वाले पिछले निष्कर्षों के आधार पर भी की गई थी [14]।

इसके अलावा, एक हालिया अध्ययन से पता चला है कि मल्टी-चैनलरे के साथ रिकॉर्ड की गई इलेक्ट्रोकॉर्टिकोग्राफी एनेस्थेटाइज्ड चूहों के श्रवण प्रांतस्था में भी एक विशिष्ट ध्वनि के निष्क्रिय संपर्क से संबंधित है [15]।

विभिन्न प्रकार के अध्ययनों में ईईजी का व्यावहारिक उपयोग करने के लिए मशीन लर्निंग दृष्टिकोण का उपयोग किया गया है। मशीन सीखने के तरीकों का उपयोग समृद्ध जानकारी की जांच को सक्षम बनाता है जो अंतर्निहित है और ईईजी संकेतों से उजागर करना मुश्किल है [6]।

इसलिए, ईईजी-आधारित वर्गीकरण पारंपरिक मशीन लर्निंग एल्गोरिदम (उदाहरण के लिए, सपोर्ट वेक्टर मशीन (एसवीएम), के-निकटतम पड़ोसियों (केएनएन), और नाओवे बेयस (एनबी)) के माध्यम से निम्नलिखित क्षेत्रों में किया जा सकता है: मोटर इमेजरी, भावना पहचान, मानसिक बीमारी का पता लगाना, घटना-संबंधित क्षमता (ईआरपी) का पता लगाना, इत्यादि [16, 17]।

इसके अलावा, हाल के वर्षों में, ग्राफिक प्रोसेसिंग इकाइयों में बढ़ती प्रगति और बड़े डेटासेट की उपलब्धता के कारण, विभिन्न गहन शिक्षण नेटवर्क [6, 18, 19] का उपयोग करके ईईजी-आधारित वर्गीकरण करना संभव हो गया है। पारंपरिक मशीन सीखने के तरीकों की तुलना में , गहन शिक्षण नेटवर्क स्वचालित रूप से इनपुट डेटा से उचित प्रतिनिधित्व का पता लगा सकते हैं और निकाल सकते हैं [20, 21]।

इसलिए, अपर्याप्त पूर्व विशेषज्ञ ज्ञान के साथ भी, डीप लर्निंग एल्गोरिदम के माध्यम से आशाजनक परिणाम प्राप्त किए जा सकते हैं जिनके लिए अतिरिक्त हस्तनिर्मित सुविधा निष्कर्षण प्रक्रिया की आवश्यकता नहीं होती है [22, 23]।

उदाहरण के लिए, भाषण, चित्र और वीडियो के क्षेत्र में, गहन शिक्षण एल्गोरिदम लागू करने से परिणामों में उल्लेखनीय सुधार हुआ [24-26]। हालाँकि, यह स्पष्ट नहीं है कि पारंपरिक मशीन लर्निंग विधियों के बजाय गहन शिक्षण दृष्टिकोण का उपयोग करते समय ऐसे बेहतर प्रदर्शन वाले परिणाम हमेशा ईईजी-आधारित वर्गीकरण डोमेन के साथ आते हैं या नहीं [27]।

रॉय एट अल ने दिखाया कि अधिकांश अध्ययनों में (102 अध्ययनों में से चार को छोड़कर), गहन शिक्षण दृष्टिकोण ने पारंपरिक मशीन लर्निंग दृष्टिकोण की तुलना में उच्च प्रदर्शन किया, और सटीकता में उच्चतम सुधार 35.3% [18, 28] था।

इसके अलावा, ईईजी-आधारित वर्गीकरण अध्ययनों के विभिन्न क्षेत्रों में, ईआरपी वर्गीकरण अध्ययन पारंपरिक मशीन लर्निंग और डीप लर्निंग दोनों तरीकों को लागू करके सक्रिय रूप से आयोजित किए जाते हैं।

एक प्रारंभिक अध्ययन में, ईईजी सिग्नल की सीमाओं में से एक, कम सिग्नल-टू-शोर अनुपात (एसएनआर) में सुधार करने और ईआरपी सिग्नल प्राप्त करने के लिए पारंपरिक भव्य औसत पद्धति का उपयोग किया गया था।

इन अध्ययनों में, कई ईआरपी घटकों को वर्गीकरण के लिए फीचर सेट के रूप में माना गया था [29, 30]। जानवरों के अध्ययन में, ईआरपी सुविधाओं जैसे शिखर आयाम और विलंबता का उपयोग ईआरपी संकेतों को अलग करने के लिए भी किया जाता है [31, 32]।

हालाँकि, एकल-परीक्षण ईईजी-आधारित वर्गीकरण पर भी अधिक ध्यान दिया गया है, क्योंकि यह ज्ञात है कि एकल-परीक्षण स्तर पर ईईजी डेटा में पारंपरिक भव्य औसत विधि [33, 34] के माध्यम से प्राप्त ईआरपी संकेतों की तुलना में अधिक कार्यात्मक और समृद्ध जानकारी होती है।

इसलिए, बाद के अध्ययनों में, पारंपरिक मशीन सीखने के तरीकों [38, 39] का उपयोग करके वर्गीकरण के लिए वेवलेट-आधारित एल्गोरिदम [35], गाऊसी मिश्रण मॉडल [36], और स्थानिक फ़िल्टरिंग [37] जैसे विभिन्न एल्गोरिदम द्वारा निकाली गई विशेषताएं। हालांकि, इष्टतम निकालना एकल-परीक्षण ईईजी से हस्तनिर्मित विशेषताएं समय लेने वाली और श्रम-गहन हैं क्योंकि अतिरिक्त प्रसंस्करण चरणों को निष्पादित किया जाना चाहिए। इस संदर्भ में, गहन शिक्षण विधियां शुरू से अंत तक सीखने की अनुमति देकर इस समस्या को कम कर सकती हैं।

सबसे प्रचलित गहन शिक्षण वास्तुकला एक दृढ़ तंत्रिका नेटवर्क (सीएनएन) है, इसके बाद एक आवर्ती तंत्रिका नेटवर्क (आरएनएन) है। सीएनएन एक विशेष प्रकार की गहन शिक्षण वास्तुकला है जिसका व्यापक रूप से एकल-परीक्षण ईईजी-आधारित वर्गीकरण [6] के लिए उपयोग किया जाता है। सीएनएन इनपुट कच्चे या पूर्व-संसाधित ईईजी डेटा से प्राप्त होते हैं, मुख्य रूप से निम्नलिखित रूप में: एक ही परीक्षण में चैनलों की संख्या × समय बिंदुओं की संख्या।

इसके अलावा, काफी वर्गीकरण परिणाम प्रदर्शित किए गए हैं और इनपुट के रूप में स्पेक्ट्रोग्राम छवियों का उपयोग करते समय इसे सबसे अच्छा प्रदर्शन करने के लिए जाना जाता है [40-44]। सीएनएन के विपरीत, आरएनएन एक अत्यधिक पसंदीदा आर्किटेक्चर है, खासकर जब अनुक्रमिक डेटा (प्राकृतिक भाषा प्रसंस्करण अनुप्रयोगों में) को संभालते समय, क्योंकि आरएनएन सीखने की वास्तुकला का आवर्ती कनेक्शन नेटवर्क की पिछली जानकारी को वर्तमान इनपुट डेटा के रूप में पुनरावर्ती रूप से उपयोग करना संभव बनाता है [45 ].

लॉन्ग-शॉर्ट-टर्म मेमोरी (LSTM) एक प्रकार का RNN आर्किटेक्चर है जिसे RNN [46] की विस्फोटित और लुप्त होती ग्रेडिएंट समस्याओं को दूर करने के लिए Hochreiter और Schmidhuber द्वारा प्रस्तावित किया गया है। द्विदिशात्मक LSTM (BiLSTM) LSTM का एक और विकास है जो पिछली और बाद की दोनों सूचनाओं तक पहुंचने के लिए आगे और पीछे की छिपी हुई परतों को जोड़ता है।

हालाँकि BiLSTM मॉडल बहुत अधिक जटिल है और इसके लिए अतिरिक्त कम्प्यूटेशनल शक्ति की आवश्यकता हो सकती है, यह LSTM [47] की तुलना में अनुक्रमिक मॉडलिंग और वर्गीकरण कार्य को बेहतर ढंग से हल करने की उम्मीद है।

पहले हमने मानव मस्तिष्क के लिए मशीन लर्निंग तकनीकों का उपयोग करके तीन स्वर ध्वनियों, /a/,/o/, और /u/ के लिए एकल-परीक्षण के आधार पर ईईजी संकेतों को वर्गीकृत करने का प्रयास किया था।

बहुभिन्नरूपी अनुभवजन्य मोड अपघटन (एमईएमडी) सहित उपयुक्त सिग्नल प्रोसेसिंग एल्गोरिदम के अनुप्रयोग के बाद, ईईजी प्रतिक्रियाओं को एक रैखिक विभेदक विश्लेषण (एलडीए) क्लासिफायर का उपयोग करके प्रत्येक स्वर ध्वनि के अनुसार प्रभावी ढंग से वर्गीकृत किया गया था। ईईजी संकेतों के समय-आवृत्ति प्रतिनिधित्व (टीएफआर) से, यह भी निर्धारित किया गया था कि अल्फा बैंड घटक स्वर ध्वनि धारणा की सबसे संबंधित तंत्रिका प्रतिक्रियाएं थीं [48]।
हालाँकि, मानव ईईजी संकेतों के कम एसएनआर के कारण, मस्तिष्क में ध्वनि प्रतिनिधित्व को अधिक आक्रामक रिकॉर्डिंग तकनीक के साथ और अधिक मूल्यांकन करने की आवश्यकता है, जिससे अधिक विश्वसनीय ईईजी संकेतों के अधिग्रहण की अनुमति मिल सके।

इसके अलावा, विभिन्न स्वरों के लिए ईईजी प्रतिक्रियाओं को वर्गीकृत करने में प्रत्येक मशीन लर्निंग एल्गोरिदम के वर्गीकरण प्रदर्शन पर आगे का अध्ययन करना आवश्यक है।

इस अध्ययन का प्राथमिक उद्देश्य विशिष्ट ईईजी घटकों को निर्धारित करना था जो चूहे के मस्तिष्क में भाषण प्रतिनिधित्व से संबंधित हो सकते हैं ताकि भाषण ध्वनि पहचान के लिए मस्तिष्क प्रतिक्रियाओं को और अधिक स्पष्ट किया जा सके।

अधिक सटीक ईईजी सिग्नल प्राप्त करने के लिए, श्रवण उत्तेजनाओं के जवाब में एपिड्यूरल ईईजी सिग्नल एएएफ में दर्ज किए गए थे, जिन्हें श्रवण धारणा और वर्गीकरण में एक आवश्यक भूमिका निभाने के लिए जाना जाता है [2]। इसके अलावा, इस अध्ययन ने एलएसटीएम नेटवर्क और अन्य पारंपरिक मशीन-लर्निंग तकनीकों का उपयोग करके एकल-परीक्षण के आधार पर प्रत्येक भाषण ध्वनि के लिए अलग-अलग मस्तिष्क प्रतिक्रियाओं में भेदभाव करने की कोशिश की।

यह परिकल्पना की गई थी कि BiLSTM नेटवर्क स्वर उत्तेजनाओं के लिए ईईजी प्रतिक्रियाओं को वर्गीकृत करने के लिए उपयुक्त होगा और अन्य शास्त्रीय वर्गीकरणकर्ताओं से बेहतर प्रदर्शन करेगा क्योंकि नेटवर्क ईईजी जैसे अनुक्रमिक डेटा की दीर्घकालिक निर्भरता मॉडलिंग में मजबूत प्रदर्शन कर सकता है। लेखक की जानकारी के अनुसार, श्रवण उत्तेजनाओं के लिए ईईजी प्रतिक्रियाओं के वर्गीकरण के लिए एलएसटीएम नेटवर्क को लागू नहीं किया गया है, और एएएफ से एपिड्यूरल ईईजी संकेतों का विश्लेषण करने के लिए गहन शिक्षण एल्गोरिदम का उपयोग करने वाला यह पहला अध्ययन है।

इसके अलावा, गहन शिक्षण एल्गोरिथ्म का उपयोग करते हुए, ईईजी प्रतिक्रियाओं को बिना किसी अतिरिक्त सुविधा निष्कर्षण विधियों के न्यूनतम पूर्व-संसाधित ईईजी संकेतों के साथ एंड-टू-एंड सीखने का उपयोग करके श्रवण उत्तेजना के रूप में वर्गीकृत किया गया था।

For more information:1950477648nn@gmail.com