मशीन लर्निंग एल्गोरिदम का उपयोग करके भाषण संकेतों से बेहतर फ़ीचर पैरामीटर निष्कर्षण(2)
May 30, 2023
3.7. डेटासेट डेटासेट संग्रह और निर्माण प्रक्रियाएं निम्नानुसार निष्पादित की गईं। इस अध्ययन में, मॉडल प्रशिक्षण के लिए 120 घंटे के ऑडियो वाले डेटासेट का उपयोग किया गया था। डेटासेट में भाषण ऑडियो रिकॉर्डिंग शामिल हैं जिसमें अधिकतम 15 शब्दों वाले वाक्य शामिल हैं जिनकी कुल लंबाई लगभग 120 घंटे है।
रेगिस्तानी जिनसेंग
इसके अलावा, भाषा मॉडल को विकसित करने में उपयोग के लिए डेटासेट में बड़ी मात्रा में विभिन्न पाठ शामिल हैं। 90,650 से अधिक कथन, 415,780 शब्द, और 65,810 अद्वितीय शब्द जो पाठ कोष में शामिल थे, एकत्र किए गए, जिसके परिणामस्वरूप लगभग 120 घंटे का लिखित भाषण डेटा प्राप्त हुआ। हमने डेटासेट को प्रशिक्षण, सत्यापन और परीक्षण सेट में विभाजित किया है। डेटासेट आँकड़े
तालिका 3 में बताया गया है।
तालिका 3. डेटासेट विनिर्देश।
हमने डेटासेट को प्रशिक्षण, सत्यापन और परीक्षण सेट के अनुरूप तीन फ़ोल्डरों में विभाजित किया है। प्रत्येक फ़ोल्डर में ऑडियो रिकॉर्डिंग और ट्रांसक्रिप्ट शामिल हैं। ऑडियो और संबंधित ट्रांस्क्रिप्शन फ़ाइल नाम समान हैं, सिवाय इसके कि ऑडियो रिकॉर्डिंग्स को WAV फ़ाइलों के रूप में संग्रहीत किया जाता है, जबकि ट्रांस्क्रिप्शन को UTF-8 एन्कोडिंग का उपयोग करके TXT फ़ाइलों के रूप में संग्रहीत किया जाता है। सभी प्रतिलेखन को लैटिन वर्णमाला का उपयोग करके दर्शाया गया है जिसमें 29 अक्षर और एपोस्ट्रोफ प्रतीक शामिल हैं। ओवरफिटिंग को रोकने के लिए, हमने वेग गड़बड़ी और वर्णक्रमीय वृद्धि के आधार पर डेटा वृद्धि तकनीक लागू की।
सिस्टैंच डेजर्टिकोला
4. प्रस्तावित विधि
वाक् पहचान प्रणाली विकसित करते समय प्रोग्रामर के लिए एक महत्वपूर्ण कार्य वाक् संकेतों की पैरामीट्रिक अभिव्यक्ति के लिए एक इष्टतम विधि का निर्माण करना है [45]। यह विधि ध्वनियों और बोले गए शब्दों को उत्कृष्ट रूप से अलग करने में सक्षम बनाती है, जबकि यह सुनिश्चित करती है कि वक्ता उच्चारण पैटर्न और ध्वनिक वातावरण में परिवर्तन के प्रति असंवेदनशील हैं। शब्द पहचान में अधिकांश त्रुटियाँ माइक्रोफ़ोन में बदलाव के कारण सिग्नल की पिच में बदलाव या उच्चारण की पिच में अंतर के कारण होती हैं [46]। त्रुटियों का एक अन्य सामान्य कारण स्पेक्ट्रम आकार की यादृच्छिक गैर-रेखीय विकृति है, जो स्पीकर के भाषण संकेत में हमेशा मौजूद होती है [47,48]। इसलिए, प्रभावी वाक् पहचान प्रणाली बनाने में सबसे महत्वपूर्ण कार्यों में से एक ऐसे प्रतिनिधित्व का चयन करना है जो विश्लेषण किए गए सिग्नल की सामग्री के लिए पर्याप्त हो और साथ ही वक्ताओं की आवाज़ और विभिन्न ध्वनिक वातावरणों के प्रति असंवेदनशील हो।
मेरे पास सिस्टैंच अनुपूरक-याददाश्त में सुधार
फीचर पैरामीटर निकालने के लिए उपयोग की जाने वाली प्रणाली में आमतौर पर निम्नलिखित आवश्यकताएं होती हैं। सूचना सामग्री, यानी फीचर मापदंडों का सेट, पहचानने योग्य भाषण तत्वों की विश्वसनीय पहचान सुनिश्चित करना चाहिए। इसके अलावा, ध्वनि की तीव्रता, यानी ऑडियो सिग्नल का अधिकतम संपीड़न, और मापदंडों के गैर-सांख्यिकीय सहसंबंध को कम किया जाना चाहिए। वक्ता से स्वतंत्रता भी हासिल की जानी चाहिए, यानी, वर्णों के वेक्टर से वक्ता की विशेषताओं से संबंधित जानकारी को अधिकतम हटाया जाना चाहिए। अंत में, समरूपता, जो समान औसत विचरण वाले मापदंडों को संदर्भित करती है और चरित्र सेटों के बीच समानता निर्धारित करने के लिए सरल मैट्रिक्स का उपयोग करने की क्षमता प्रदान की जानी चाहिए [49]। हालाँकि, सभी आवश्यकताओं को एक साथ पूरा करना हमेशा संभव नहीं होता है क्योंकि ऐसी आवश्यकताएँ विरोधाभासी होती हैं। भाषण तत्वों का पैरामीट्रिक विवरण उन्हें विश्वसनीय रूप से अलग करने के लिए पर्याप्त रूप से विस्तृत होना चाहिए और जितना संभव हो उतना संक्षिप्त होना चाहिए।
सुपरमैन जड़ी बूटी सिस्टैंच
व्यवहार में, माइक्रोफ़ोन से प्राप्त होने वाले भाषण संकेत को 8 से 22 किलोहर्ट्ज़ की नमूना दर पर डिजिटलीकृत किया जाता है। क्रमिक संख्यात्मक मानों को 10 से 30 एमएस की अवधि के साथ भाषण अंशों (फ़्रेम) में विभाजित किया जाता है, जो अर्ध-स्थिर भाषण भागों के अनुरूप होते हैं। प्रत्येक फ्रेम से सुविधाओं के एक वेक्टर की गणना की जाती है, जिसे बाद में वाक् पहचान के ध्वनिक स्तर पर उपयोग किया जाता है। वर्तमान में, ऑटोसहसंबंध विश्लेषण, हार्डवेयर रैखिक फ़िल्टरिंग, वर्णक्रमीय विश्लेषण और एलपीसी के आधार पर संकेतों के पैरामीट्रिक प्रतिनिधित्व के लिए तरीकों की एक विस्तृत श्रृंखला उपलब्ध है। भाषण मानकीकरण के लिए सबसे आम दृष्टिकोण सिग्नल टुकड़ों का वर्णक्रमीय विश्लेषण और उनके सेप्स्ट्रल गुणांक की गणना है।
एमएफसीसी का उपयोग भाषण संकेत के लिए सूचनात्मक सुविधाओं के रूप में किया गया है [41]। इन विशेषताओं का उपयोग वाक् पहचान में बड़े पैमाने पर किया जाता है और ये दो मुख्य अवधारणाओं पर आधारित हैं: सेप्स्ट्रल और मेल स्केल। एल्गोरिथम का मुख्य लाभ इसकी उच्च स्तर की परिचितता और बोलने में आसानी है। एमएफसीसी सुविधाओं को रिकॉर्ड किए गए भाषण संकेतों से अलग किया जाता है। एमएफसीसी एल्गोरिदम फोनोग्राम और स्पेक्ट्रम स्विचिंग एल्गोरिदम के परिणामों का उपयोग करता है। एमएफसीसी की गणना के लिए उपयोग किया जाने वाला शास्त्रीय एल्गोरिदम चित्र 5 में दर्शाया गया है।
चित्र 5. एमएफसीसी की गणना के लिए शास्त्रीय योजना।
यह अध्ययन भाषण संकेत से फ़ंक्शन पैरामीटर निकालने के लिए एक तीव्र विधि प्रस्तुत करता है। एमएफसीसी की तीव्र गणना के लिए प्रस्तावित एल्गोरिदम चित्र 6 में दिखाया गया है।
चित्र 6. एमएफसीसी की गणना के लिए प्रस्तावित रूपरेखा।
हम स्पीच सिग्नल से फ़ंक्शन मापदंडों के तेजी से निष्कर्षण के लिए प्रस्तावित एल्गोरिदम के निष्पादन अनुक्रम पर विचार करते हैं
4.1. फ़्रेम में विभाजन
प्रारंभिक फ़िल्टरिंग के बाद, भाषण संकेत को 16 एमएस फ्रेम में विभाजित किया गया है। प्रत्येक फ़्रेम (पहले को छोड़कर) में पिछले फ़्रेम के अंतिम 10 एमएस होते हैं। यह प्रक्रिया सिग्नल समाप्त होने तक जारी रहती है। इस अध्ययन में, क्योंकि स्पीच सिग्नल की नमूना दर 16 किलोहर्ट्ज़ है, फ्रेम की लंबाई एन=256 है, और ऑफसेट लंबाई एम=160 है। ओवरलैप फ़्रेम लंबाई का 62.5 प्रतिशत है। आम तौर पर फ़्रेम की लंबाई का 50 प्रतिशत से 75 प्रतिशत कवरेज की अनुशंसा की जाती है।
4.2. हॅनिंग विंडो और घटते मान
1D की एक हैनिंग विंडो आकार का उपयोग किया गया था। हैनिंग विंडो को उभरी हुई कोसाइन विंडो भी कहा जाता है। हैनिंग विंडो को तीन आयताकार समय विंडो के आवृत्ति स्पेक्ट्रम के योग के रूप में माना जा सकता है। यह उच्च-आवृत्ति हस्तक्षेप और ऊर्जा रिसाव को समाप्त करते हुए, एक-दूसरे को रद्द करने के लिए साइड लोब का उपयोग कर सकता है। हैनिंग विंडोज़ बहुत उपयोगी विंडो फ़ंक्शंस हैं।
मेरे पास सिस्टैंच अनुपूरक-याददाश्त में सुधार
सिस्टैंच मेमोरी में सुधार और अल्जाइमर रोग को रोकने वाले उत्पादों को देखने के लिए यहां क्लिक करें
【अधिक के लिए पूछें】 ईमेल:cindy.xue@wecistanche.com / व्हाट्स ऐप: 0086 18599088692 / वीचैट: 18599088692
विरूपण को कम करने और व्यक्तिगत फ्रेम को चिकना करने के लिए एक वेट बॉक्स का उपयोग किया जाता है। इस अध्ययन में जिस फ्लोटिंग सिग्नल की जांच की गई है, उसमें सघन स्वर शामिल है। समतल स्वर का परिमाण आवृत्ति f पर शुद्ध स्वर के परिमाण से निर्धारित होता है, जिसे हैनिंग विंडो के माध्यम से फ़िल्टर किया जाता है।
इस विंडो का एक महत्वपूर्ण पहलू यह है कि यह फ़्रेम की सीमाओं को शून्य पर सेट करता है। इस मामले में, खिड़की से गुजरते समय छोटी ऊर्जाओं की गणना की जा सकती है, और उन्हें उस अनुक्रम से स्थानांतरित किया जा सकता है जिसका उपयोग सबसे कम आयाम वाली ऊर्जाओं की गणना करने के लिए किया जाता है। इसका उद्देश्य इस विंडो से सिग्नल को सुचारू करते हुए सिग्नल ऊर्जा की गणना करके सिग्नल से कम ऊर्जा वाले सिग्नल को हटाना है। इस प्रक्रिया के लिए निम्नलिखित सिग्नल ऊर्जा समीकरण की आवश्यकता होती है:
जहां En इनपुट सिग्नल खंड की ऊर्जा है, और xi सिग्नल मान है।
(11) का उपयोग करके विंडो प्रक्रिया के अलावा, सिग्नल को अगले चरण में संसाधित किया जाता है, जो प्रोसेसर में प्रवेश करने वाले मानों की संख्या को काफी कम कर देता है। चित्र 7 समानांतर प्रसंस्करण एल्गोरिथ्म प्रस्तुत करता है।
विंडो का आकार कई नमूनों और एक अवधि का प्रतिनिधित्व करता है। यह विश्लेषण का मुख्य पैरामीटर है. विंडो का आकार मूलभूत आवृत्ति, तीव्रता और सिग्नल में परिवर्तन पर निर्भर करता है।
चित्र 7. मूक भागों को हटाने के लिए हैनिंग विंडो एल्गोरिदम। 4.3. शॉर्ट-टाइम फूरियर ट्रांसफॉर्म (एसटीएफटी) स्विच उच्च या निम्न ऊंचाई के अर्थ की एक सहज समझ मौजूद है। एसटीएफटी एक फूरियर से संबंधित परिवर्तन है जिसका उपयोग सिग्नल के स्थानीय खंडों की साइनसोइडल आवृत्ति और चरण सामग्री को निर्धारित करने के लिए किया जाता है क्योंकि यह समय के साथ बदलता है। व्यवहार में, एसटीएफटी गणना में लंबे समय के सिग्नल को समान लंबाई के छोटे खंडों में विभाजित करना शामिल होता है, जिसके बाद प्रत्येक छोटे खंड पर फूरियर रूपांतरण की एक अलग गणना होती है। इससे प्रत्येक छोटे खंड के फूरियर स्पेक्ट्रम का पता चलता है। अलग-अलग समय के संकेत हैं व्यवहार में प्रयोग किया जाता है। संबंधित समय-आवृत्ति रूपांतरण एक असतत फूरियर रूपांतरण है, जो एन गुणांक के जटिल मूल्य आवृत्ति डोमेन के प्रतिनिधि के रूप में सिग्नल एक्सएन की लंबाई का वर्णन करता है। एसटीएफटी, जो समय के साथ आवृत्ति घटकों के विकास का वर्णन करता है, भाषण विश्लेषण और प्रसंस्करण के लिए सबसे व्यापक रूप से उपयोग किए जाने वाले उपकरणों में से एक है [50]। स्पेक्ट्रम के समान ही, STFT का एक लाभ यह है कि इसके मापदंडों की भौतिक और सहज व्याख्याएँ होती हैं। एसटीएफटी को आमतौर पर लॉग स्पेक्ट्रा 20लॉग10 (एक्स(एच, के)) का उपयोग करके देखा जाता है। ऐसे 2डी लॉग स्पेक्ट्रा को स्पेक्ट्रोग्राम नामक थर्मल मैप का उपयोग करके देखा जा सकता है। एल्गोरिथम के तीसरे चरण में, वजन विंडो के माध्यम से पारित होने वाले फ़्रेमों पर एसटीएफटी वर्णक्रमीय स्विचिंग प्रक्रिया लागू की जाती है। सिग्नल का एसटीएफटी विंडो खोलकर और प्रत्येक विंडो का डीएफटी निर्धारित करके प्राप्त किया जाता है। विशेष रूप से, इनपुट सिग्नल की Xn और Wn विंडो के लिए परिवर्तन निम्नानुसार निर्धारित किया जाता है:
जहां k-सूचकांक आवृत्ति मानों से मेल खाता है, और wn विंडो फ़ंक्शन है, जो आमतौर पर एक हैनिंग विंडो या गॉसियन विंडो है जो शून्य के आसपास केंद्रित होती है।
4.4. मेल ट्रांसफॉर्म
चौथे चरण में, आवृत्ति बैंड में स्थानांतरित होने वाले सिग्नल को त्रिकोणीय फ़िफ़िल्टर का उपयोग करके श्रेणियों में विभाजित किया जाता है। फ़िफ़िल्टर सीमाओं की गणना चाक आवृत्ति का उपयोग करके की जाती है। चॉक फ़्रीक्वेंसी फ़िफ़ील्ड में संक्रमण निम्नलिखित समीकरण पर आधारित है:
जहाँ f आवृत्ति रेंज है।
रिवर्स स्विच इस प्रकार निर्धारित किया जाता है:
एनएन को फ़िफ़िल्टर की संख्या (आमतौर पर 26 फ़िफ़िल्टर का उपयोग किया जाता है) और फ़्लफ़्लो के रूप में मानें, जो अध्ययन के तहत आवृत्ति रेंज के बराबर है। इस रेंज को मेल स्केल में स्थानांतरित किया जाता है और एनएन समान रूप से वितरित इंटरसेक्टिंग रेंज में विभाजित किया जाता है। रैखिक आवृत्ति-उपयुक्त सीमाएँ फ़िफ़िल्ड के भीतर निर्धारित की जाती हैं, जबकि फ़िफ़िल्ट्रेशन के आधार पर प्राप्त होने वाले भार गुणांक को एच द्वारा दर्शाया जाता है। इसके बाद, फ़िफ़िल्टर को फ़ोरियर ट्रांसफ़ॉर्म से प्राप्त गुणांक के वर्ग मापांक पर लागू किया जाता है। जो मान प्राप्त होते हैं वे निम्नलिखित अभिव्यक्ति के कारण लघुगणकीय होते हैं:
एकल मूल्य अपघटन एल्गोरिदम को एमएफसीसी की गणना के अंतिम चरण में लागू किया गया है।
5. प्रायोगिक परिणाम
जैसा कि तालिका 4 में दिखाया गया है, हमने 4.90 गीगाहर्ट्ज सीपीयू, 32 जीबी रैम और दो एनवीडिया GeForce 2080Ti GPU के साथ एक पीसी पर विजुअल स्टूडियो 2019 सी प्लस प्लस में प्रस्तावित पद्धति को लागू और परीक्षण किया। सिग्नल सुविधा निष्कर्षण विधि के प्रदर्शन का मूल्यांकन करें। प्रयोगों में, एल्गोरिथम के संचालन के दौरान (चित्र 8), जब सिग्नल की सतहों का क्रम n=15 था, तो मानों की संख्या 40-50 प्रतिशत कम हो गई थी, और प्रसंस्करण समय 1 बढ़ गया था। 2-गुना. नतीजतन, इस एल्गोरिदम ने काफी अधिक दक्षता प्रदर्शित की। इसके अलावा, इस एल्गोरिदम ने हैनिंग विंडो से गुजरते समय मौन के क्षेत्रों को अलग करने और हटाने में सक्षम बनाया।
मेमोरी बैंडविड्थ की बर्बादी से बचने के लिए कई संभावित साधन उपलब्ध हैं। हम एक नया समाधान प्रस्तावित करते हैं जो सिग्नल फ्रेम के आकार को कैश मेमोरी के ब्लॉक आकार से मेल करके कंप्यूटिंग प्रदर्शन को बढ़ाता है। इस प्रकार का अनुकूलन समग्र समानांतर प्रसंस्करण प्रदर्शन को महत्वपूर्ण रूप से प्रभावित कर सकता है। हालाँकि, इसका उपयोग मल्टीकोर प्रोसेसर पर कार्यान्वयन के माध्यम से सिग्नल को फ्रेम में विभाजित करके डिजिटल सिग्नल प्रोसेसिंग में किया जा सकता है। हालाँकि, व्यवहार में, चयन आमतौर पर छोटे पैमाने पर किया जाता है, जो डेटा बस की चौड़ाई के अनुरूप होता है जो कैश मेमोरी को मुख्य मेमोरी और उसके ब्लॉक के आकार से जोड़ता है। हमारी पद्धति समानांतर कंप्यूटिंग में इन यादों के इष्टतम उपयोग को लागू करती है। डेटा को स्ट्रीम में विभाजित करते समय कैश मेमोरी का संगठन समानांतर प्रसंस्करण एल्गोरिदम में एक आवश्यक भूमिका निभाता है। विशेष रूप से, डिजिटल सिग्नल प्रोसेसिंग में वेक्टर-मैट्रिक्स प्रभावों की उपस्थिति और उनकी धाराओं के आकार को कैश ब्लॉक के आकार के अनुसार समायोजित किया जाना चाहिए। इसे प्रस्तावित विधि का उपयोग करके प्राप्त किया जा सकता है, जैसा चित्र 9 में दिखाया गया है।
तालिका 4. प्रायोगिक सेटअप की विस्तृत विशिष्टताएँ।
चित्र 8. (ए) प्रारंभिक आने वाले सिग्नल और (बी) प्रस्तावित एल्गोरिदम लागू करने के बाद सिग्नल की उपस्थिति।
चित्र 9. RK3288 प्रोसेसर का उपयोग करके समानांतर कंप्यूटिंग संरचना।
इस अनुभाग में, हम विभिन्न प्रणालियों के प्रदर्शन की तुलना करने के लिए एक मात्रात्मक विश्लेषण पर चर्चा करते हैं। हमने अपनी पद्धति की तुलना गहन-शिक्षण दृष्टिकोणों पर आधारित सुप्रसिद्ध वाक् पहचान एल्गो रिदम से की। वाक् पहचान के लिए विभिन्न रणनीतियों की गणना करने और विभिन्न दृष्टिकोणों के प्रदर्शन का आकलन करने के लिए मूल्यांकन मेट्रिक्स आवश्यक हैं। हालाँकि हमने तुलना के लिए अन्य अध्ययनों के परिणामों का उपयोग किया, हम निश्चित नहीं हैं कि क्या वे सच हैं क्योंकि इन विधियों के स्रोत कोड और डेटासेट वास्तविक प्रदर्शन को सत्यापित करने के लिए सार्वजनिक रूप से उपलब्ध नहीं हैं। चित्र 10 प्रस्तावित रैपिड एल्गोरिदम के आधार पर हान निंग विंडो के माध्यम से एक भाषण सिग्नल टुकड़े के पारित होने के दौरान मूक भागों को फिर से स्थानांतरित करने के परिणाम को दर्शाता है। विश्लेषण से प्राप्त गति परिणाम तालिका 5 में प्रस्तुत किए गए हैं।
चित्र 10. KNN एल्गोरिथ्म का k मान (सुविधा चयन के साथ)।
तालिका 5. प्रस्तावित पद्धति के प्रायोगिक परिणाम।
केएनएन एल्गोरिथ्म में सबसे अच्छा सटीकता मूल्य देने वाले पड़ोस की डिग्री का पता लगाने के लिए एक सीमा निर्धारित की गई है। निर्दिष्ट सीमा 1-25 को कवर करती है। चित्र 10 में, सुविधा चयन के साथ KNN एल्गोरिथ्म का ग्राफ़ लागू किया गया था। जब ग्राफ़ की जांच की गई, तो शुरुआत में जब पड़ोस का मान 1 था, तो प्रशिक्षण सटीकता परीक्षण सटीकता से बहुत अधिक थी। सहसंबंध द्वारा चयनित सुविधाओं का उपयोग करके बनाए गए केएनएन एल्गोरिदम में, मॉडल की सटीकता प्रशिक्षण डेटासेट में 99.15 प्रतिशत और परीक्षण डेटासेट में 97.35 प्रतिशत निर्धारित की गई थी।
शब्द त्रुटि दर (WER) या वर्ण त्रुटि दर का उपयोग आमतौर पर भाषण संकेत से सुविधा निष्कर्षण की सटीकता का मूल्यांकन करने के लिए किया जाता है। ये वस्तुनिष्ठ मैट्रिक्स हैं जो पहचान तकनीकों की निष्पक्ष तुलना के लिए सहायक हैं। हमारे पिछले अध्ययनों [51-56] में, हमने एफ-माप (एफएम), परिशुद्धता और रिकॉल जैसे मेट्रिक्स की गणना की। एफएम भारित औसत है जो सटीकता और रिकॉल दरों के बीच माप को संतुलित करता है। परिशुद्धता सही ढंग से अनुमानित सकारात्मक टिप्पणियों की संख्या और अनुमानित सकारात्मक टिप्पणियों की कुल संख्या का अनुपात है। रिकॉल वास्तविक वर्ग में सही ढंग से अनुमानित सकारात्मक टिप्पणियों की संख्या और टिप्पणियों की कुल संख्या का अनुपात है, जैसा कि (9) में दर्शाया गया है। फीचर निष्कर्षण विधियों की औसत सटीकता और रिकॉल दरों की गणना के लिए निम्नलिखित समीकरणों का उपयोग किया जा सकता है:
जहां टीपी सच्ची सकारात्मकता की संख्या को दर्शाता है, एफपी झूठी सकारात्मकता की संख्या को दर्शाता है, और एफएन झूठी नकारात्मकता की संख्या को दर्शाता है।
एफएम की गणना सटीकता और रिकॉल दोनों को ध्यान में रखते हुए (10) का उपयोग करके की जाती है।
प्रस्तावित विधि का औसत एफएम, रिकॉल और सटीकता 98.4 प्रतिशत थी। माइक्रोफ़ोन पर सिग्नल के अवांछित शोर के कारण 1.6 प्रतिशत मामलों में गलत पहचान हुई। मॉडल की सटीकता की सीमा 0 और 1 के बीच थी, और मीट्रिक अनुमान स्कोर 1 पर अपने सर्वोत्तम मूल्यों पर पहुंच गया। हमारी पद्धति और अन्य हाल ही में प्रकाशित भाषण सुविधा निष्कर्षण विधियों का मूल्यांकन तालिका 6 में प्रस्तुत किया गया है। वही संख्या निष्पक्ष तुलना के लिए सुविधाओं का उपयोग किया गया था। समान फीचर पृष्ठभूमि वाले विषयों से प्रत्येक समूह के कुल 325 भाषण नमूनों का विश्लेषण किया गया। बेहतर सटीकता के लिए एमएफसीसी में फिल्टर बैंकों की संख्या के अनुसार अलग-अलग फ्रेम लंबाई और एलपीसी के क्रम में अलग-अलग फ्रेम लंबाई के प्रभावों की भी जांच की गई।
तालिका 6. वाक् सुविधा निष्कर्षण की मात्रात्मक सटीकता परिणाम।
जैसा कि पहले उल्लेख किया गया है, WER वाक् पहचान प्रदर्शन के लिए सबसे आम उपाय है। इसकी गणना वाक् पहचानकर्ता के आउटपुट के साथ संदर्भ प्रतिलेखन की तुलना करके की जाती है। इस तुलना के आधार पर, त्रुटियों की संख्या की गणना करना संभव है, जो आम तौर पर तीन श्रेणियों से संबंधित होती हैं: (1) सम्मिलन जब कोई शब्द स्वचालित वाक् पहचान (एएसआर) के आउटपुट में संदर्भ में मौजूद नहीं होता है, (2) एएसआर आउटपुट में एक शब्द छूट जाने पर विलोपन, और (3) जब एक शब्द दूसरे शब्द के साथ भ्रमित हो जाता है तो प्रतिस्थापन। WER की गणना निम्नानुसार की जा सकती है।
जहां S उन शब्दों के प्रतिस्थापन की संख्या है जिन्हें गलत तरीके से पहचाना गया है, D विलोपन की संख्या है, I सम्मिलन की संख्या है, और N संदर्भ प्रतिलेखन में शब्दों की संख्या है। इस स्कोर की गणना में मुख्य मुद्दा दो-शब्द अनुक्रमों के बीच संरेखण है। इसे लेवेनशेटिन दूरी [67] का उपयोग करके गतिशील प्रोग्रामिंग के माध्यम से निर्धारित किया जा सकता है।
तालिका 6 के आधार पर, हमने WER मूल्यांकन मीट्रिक का उपयोग करके तुलनात्मक तरीकों की औसत सटीकता को इंगित करने के लिए एक सांख्यिकीय विश्लेषण किया, जैसा कि चित्र 11 में दिखाया गया है। बेहतर फीचर एक्सट्रैक्टर ने लगभग 98.4 प्रतिशत की सटीकता प्राप्त की, जबकि अन्य दृष्टिकोणों के बीच सटीकता प्राप्त हुई। 78 प्रतिशत और 96 प्रतिशत। हमने तुलना के लिए संबंधित कागजात में दिए गए परिणामों का उपयोग किया; हालाँकि, इन मूल्यों की सटीकता आसानी से सत्यापित नहीं की जा सकती क्योंकि इन विधियों के स्रोत कोड और डेटासेट उनके वास्तविक प्रदर्शन की पुष्टि के लिए सार्वजनिक रूप से उपलब्ध नहीं हैं। फिर भी, मानक दृश्यों के मामले में, प्रस्तावित विधि को प्रयोगात्मक रूप से कम्प्यूटेशनल समय को कम करके उत्कृष्ट भाषण सुविधा निष्कर्षण सटीकता प्रदान करने के लिए प्रदर्शित किया गया था, भले ही भाषण डेटा शोर या कम गुणवत्ता वाला हो।
चित्र 11. ऊर्ध्वाधर ग्राफ़ का उपयोग करके वाक् संकेत सुविधा निष्कर्षण दृष्टिकोण के मात्रात्मक परिणाम।
इसके अलावा, हमने चयनित तरीकों के गलत-सकारात्मक परिणामों का मूल्यांकन किया। जैसा कि चित्र 12 से देखा जा सकता है, प्रस्तावित दृष्टिकोण में सबसे कम त्रुटियाँ थीं। इसके अलावा, अत्यधिक कुशल समानांतर गणना पद्धति ने ध्वनि संकेत सुविधा चयन और निष्कर्षण त्रुटियों को काफी कम कर दिया। प्रशिक्षण के दौरान ओवरफिटिंग मुख्य मुद्दों में से एक था, और लगभग सभी मशीन लर्निंग मॉडल इससे पीड़ित हैं। हमने एक फीचर चयन तकनीक का उपयोग करके ओवरफिटिंग जोखिम को कम करने की कोशिश की, जिसका उद्देश्य डेटासेट में मौजूदा सुविधाओं के महत्व को रैंक करना और कम महत्वपूर्ण सुविधाओं को त्यागना है (कोई नई सुविधाएँ नहीं बनाई गई हैं)।
चित्र 12. गलत-सकारात्मक भाषण संकेत सुविधा निष्कर्षण प्रयोगों के दृश्यमान परिणाम।
तालिका 7 विभिन्न गुणों के आधार पर वाक् पहचान वातावरण में उपयोग की जाने वाली विधियों के प्रदर्शन परिणामों को प्रदर्शित करती है। हमारा प्रस्तावित दृष्टिकोण अवांछित और अनावश्यक पृष्ठभूमि शोर से ग्रस्त नहीं है और कम गुणवत्ता वाली मानवीय आवाजों जैसे कर्कश आवाज, गले में खराश के साथ उत्पन्न आवाज, या यहां तक कि पूरी तरह से आवाज हानि वाले मनुष्यों की आवाज से प्रभावित नहीं है। हमारी पद्धति का उद्देश्य अपर्याप्त रिकॉर्डिंग उपकरण, पृष्ठभूमि शोर, कठिन उच्चारण और बोलियाँ, और एक आवाज में विभिन्न पिचों की समस्याओं को दूर करना है। एक सामान्य वातावरण में, कम प्रसंस्करण समय के साथ प्रस्तावित विधि का उपयोग करके भाषण सुविधा चुनौतियों का सटीक रूप से पता लगाने और निकालने के लिए सर्वोत्तम परिणाम प्राप्त किए गए थे।
तालिका 7. विभिन्न सुविधाओं का उपयोग करके वाक् सुविधा का पता लगाने और निष्कर्षण प्रदर्शन की समीक्षा।
वाक् पहचान विधियों के परिणामों को सात श्रेणियों के लिए शक्तिशाली, सामान्य या कमजोर के रूप में वर्गीकृत किया गया था। शक्तिशाली मानदंड दर्शाता है कि एल्गोरिदम सभी प्रकार की चुनौतियों पर काबू पा सकता है। इसके विपरीत, सामान्य मानदंड इंगित करता है कि एल्गोरिदम कुछ उदाहरणों में विफल हो सकता है क्योंकि शब्द सीमाएं पहले से परिभाषित नहीं हैं। अंत में, कमजोर मानदंड बताता है कि पृष्ठभूमि शोर या कंपन के तहत एल्गोरिदम अविश्वसनीय है।
6. सीमाएँ
यह निष्कर्ष निकालना कठिन है कि आज तक प्रस्तावित तरीकों में कोई कमी नहीं दिखती है। हमारी प्रस्तावित पद्धति में विभिन्न शोर वातावरण के कारण त्रुटियां भी हो सकती हैं। इस समस्या को दूर करने के लिए, हमने मौजूदा सुविधाओं से नई सुविधाएँ बनाकर डेटासेट में सुविधाओं की संख्या को कम करने का लक्ष्य रखा है [69]। चूंकि प्रतियोगिता के दौरान विभिन्न मॉडलों के प्रशिक्षण के लिए ओवरफिटिंग मुख्य मुद्दों में से एक था, इसलिए विभिन्न संसाधनों से डेटा नमूने जोड़कर प्रशिक्षण डेटा को समृद्ध करना परिणामों में सुधार के लिए एक संभावित समाधान हो सकता है। उपर्युक्त समस्याओं के बावजूद, प्रयोगात्मक परिणामों से पता चला कि हमारी पद्धति भाषण सुविधा निष्कर्षण कार्यों के लिए बहुत मजबूत और प्रभावी थी, जिसमें औसत सटीकता 98.4 प्रतिशत और एफएम 99.5 प्रतिशत थी।
7। निष्कर्ष
वाक् पहचान प्रणालियों के लिए मशीन लर्निंग पद्धति का उपयोग करके एक नया उच्च-प्रदर्शन समानांतर कंप्यूटिंग दृष्टिकोण प्रस्तावित किया गया है। सीमित कंप्यूटिंग संसाधनों वाली मशीनों में त्वरण समस्याओं को वितरित प्रणालियों का उपयोग करके हल किया जा सकता है। सिग्नल पहचान प्रणालियों में गणना की गति को बढ़ाया जा सकता है, और कुशल और तीव्र एल्गो रिदम का निर्माण और उपयोग करके मल्टीकोर प्लेटफार्मों के प्रदर्शन में सुधार किया जा सकता है। परिणाम दर्शाते हैं कि प्रस्तावित मॉडल प्रसंस्करण समय को कम करता है और एमएफसीसी का प्रभावी ढंग से उपयोग करके फीचर निष्कर्षण सटीकता में 98.4 प्रतिशत तक सुधार करता है। यह देखा गया है कि फीचर चयन द्वारा निकाली गई कम सहसंबंध मान वाली विशेषताएं भी मॉडल की सफलता में प्रभावी हैं। सांख्यिकीय विश्लेषण पूर्व-संसाधित डेटा पर किया गया था, और K-निकटतम पड़ोसियों (KNN) मशीन लर्निंग एल्गोरिदम का उपयोग करके डेटा से सार्थक जानकारी तैयार की गई थी।
भविष्य के अध्ययन गहन शिक्षण दृष्टिकोण का उपयोग करके और महत्वपूर्ण गुणवत्ता हानि के बिना भाषण संकेतों का पता लगाने और निकालने के लिए मल्टीकोर प्रोसेसर की कैश मेमोरी को अनुकूलित करके हमारी पद्धति की सटीकता में सुधार करने पर ध्यान केंद्रित करेंगे। इसके अलावा, हम मजबूत विश्लेषण प्रदर्शन के साथ समानांतर प्रसंस्करण पर आधारित एक वर्णक्रमीय विश्लेषण मॉडल बनाने की योजना बना रहे हैं जो 3डी सीएनएन और 3डी यू-नेट वातावरण में टैरिस स्पीच डेटासेट [70] का उपयोग करके कम कम्प्यूटेशनल संसाधनों के साथ एम्बेडेड उपकरणों की स्थापना को सक्षम करेगा। 75]
संदर्भ
1. मेंग, वाईजे; लियू, डब्ल्यूजे; झांग, आरजेड; डू, एचएस स्पीच फ़ीचर पैरामीटर निष्कर्षण और पहचान इंटरपोलेशन पर आधारित। आवेदन. मेक. मेटर. 2014, 602-605, 2118-2123। [क्रॉसरेफ] 2. मुसेव, एम.; राखीमोव, एम. कन्वेन्शनल न्यूरल नेटवर्क के लिए त्वरित प्रशिक्षण। सूचना विज्ञान और संचार प्रौद्योगिकी (आईसीआईएससीटी) पर 2020 अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, ताशकंद, उज़्बेकिस्तान, 4-6 नवंबर 2020; पृ. 1-5. [क्रॉसरेफ] 3. हाँ, एफ.; यांग, जे. स्पीकर पहचान के लिए एक डीप न्यूरल नेटवर्क मॉडल। आवेदन. विज्ञान. 2021, 11, 3603। [क्रॉसरेफ] 4. मुसेव, एम.; राखीमोव, एम. स्पीच सिग्नल के समानांतर प्रसंस्करण में मुख्य मेमोरी के एक ब्लॉक को कैश में मैप करने की एक विधि। सूचना विज्ञान और संचार प्रौद्योगिकी (आईसीआईएससीटी), कराची, पाकिस्तान पर 2019 अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, 9-10 मार्च 2019; पृ. 1-4. [क्रॉसरेफ] 5. जियांग, एन.; लियू, टी. एसओएम और के-मीन्स पर आधारित एक बेहतर भाषण विभाजन और क्लस्टरिंग एल्गोरिदम। गणित। समस्या. इंजी. 2020, 2020, 3608286। [क्रॉसरेफ] 6. हू, डब्ल्यू.; यांग, जेड.; चेन, सी.; सन, बी.; Xie, Q. संख्यात्मक नियंत्रण बुर्ज की बहु-क्रिया प्रणाली के लिए एक कंपन विभाजन दृष्टिकोण। सिग्नल इमेज वीडियो प्रक्रिया। 2021, 16, 489-496। [क्रॉसरेफ]
7. पोपेस्कु, टीडी; Aiordachioaie, D. कंपन संकेतों के इष्टतम विभाजन का उपयोग करके रोलिंग तत्व बीयरिंगों की गलती का पता लगाना। मेक. सिस्ट. सिग्नल प्रक्रिया. 2019, 116, 370-391। [क्रॉसरेफ] 8. शिहाब, एमएसएच; आदित्य, एस.; सेतु, जेएच; इम्तियाज-उद-दीन, केएम; ईफैट, एमआईए स्पीकर की पहचान के लिए एक हाइब्रिड जीआरयू-सीएनएन फ़ीचर एक्सट्रैक्शन तकनीक। कंप्यूटर और सूचना प्रौद्योगिकी (आईसीसीआईटी), ढाका, बांग्लादेश पर तीसरे अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, 19-21 दिसंबर 2020; पृ. 1-6. [क्रॉसरेफ] 9. कोर्कमाज़, ओ.; एटासोय, ए. मेल-फ़्रीक्वेंसी सेप्स्ट्रल गुणांक का उपयोग करके भाषण संकेत से भावना पहचान। इलेक्ट्रिकल और इलेक्ट्रॉनिक्स इंजीनियरिंग (ELECO), बर्सा, तुर्की पर 9वें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, 26-28 नवंबर 2015; पृ. 1254-1257. 10. अयवाज़, यू.; गुरुलर, एच.; खान, एफ.; अहमद, एन.; वांग्बो, टी.; अब्दुस्सलोमोव, ए. मशीन लर्निंग के माध्यम से मेल-फ़्रीक्वेंसी सेप्स्ट्रल गुणांक का उपयोग करके स्वचालित स्पीकर पहचान। सीएमसी-कंप्यूट। मेटर. जारी रखें. 2022, 71, 5511-5521। 11. अल-कादरी, एम.; लाहमर, ई.; रैड, ए. विषम वर्गीकरणकर्ताओं और पूरक फ़ीचर सहयोग के संलयन के माध्यम से एक दो-स्तरीय स्पीकर पहचान प्रणाली। सेंसर 2021, 21, 5097। [क्रॉसरेफ] 12. बटूर डिनलर, ओ.; आयडिन, एन. स्पीच सेगमेंट डिटेक्शन के लिए गेटेड रिकरंट यूनिट रिकरंट न्यूरल नेटवर्क पर आधारित एक इष्टतम फीचर पैरामीटर सेट। आवेदन. विज्ञान. 2020, 10, 1273. [क्रॉसरेफ] 13. किम, एच.; लीकेज सप्रेशन और सिग्नल रिकवरी के साथ टीएफ-जीएससी पर आधारित शिन, जेडब्ल्यू डुअल-माइक स्पीच एन्हांसमेंट। आवेदन. विज्ञान. 2021, 11, 2816। [क्रॉसरेफ] 14. ली, एस.-जे.; क्वोन, एच.-वाई. स्पीच सेगमेंट डिटेक्शन के आधार पर स्पीच डेटा को डीनोइज़ करने के लिए एक प्रीप्रोसेसिंग रणनीति। आवेदन. विज्ञान. 2020, 10, 7385। [क्रॉसरेफ] 15. रुस्नाक, ए.-एल.; ग्रिगोर, ओ. ईईजी काल्पनिक वाक् पहचान के लिए सीएनएन आर्किटेक्चर और फ़ीचर एक्सट्रैक्शन विधियाँ। सेंसर 2022, 22, 4679। [क्रॉसरेफ] [पबमेड] 16. वफ़ा, आर.; खान, एमक्यू; मलिक, एफ.; अब्दुस्सलोमोव, एबी; चो, वाईआई; ओडार्चेंको, आर. परियोजना की सफलता पर चुस्त कार्यप्रणाली का प्रभाव, पाकिस्तान के आईटी उद्योग में व्यक्ति की नौकरी के अनुकूल भूमिका के साथ। आवेदन. विज्ञान. 2022, 12, 10698. [क्रॉसरेफ] 17. अग्रवाल, ए.; श्रीवास्तव, ए.; अग्रवाल, ए.; चहल, एन.; सिंह, डी.; अलनुइम, एए; अलहदलक, ए.; ली, एच.-एन. डीप लर्निंग का उपयोग करके वाक् भावना पहचान के लिए दो-तरफ़ा फ़ीचर निष्कर्षण। सेंसर 2022, 22, 2378। [क्रॉसरेफ] [पबमेड] 18. मारिनी, एम.; वेनेलो, एन.; फैनुची, एल. डिसरथ्रिया से पीड़ित लोगों के लिए स्वचालित भाषण पहचान प्रदर्शन में सुधार के लिए स्पीकर-निर्भर फ़ीचर एक्सट्रैक्शन पैरामीटर्स का अनुकूलन। सेंसर 2021, 21, 6460। [क्रॉसरेफ] 19. तिवारी, एस.; जैन, ए.; शर्मा, एके; अलमुस्तफा, केएम फोनोकार्डियोग्राम सिग्नल आधारित मल्टी-क्लास कार्डियक डायग्नोस्टिक डिसीजन सपोर्ट सिस्टम। आईईईई एक्सेस 2021, 9, 110710-110722। [क्रॉसरेफ] 20. मोहताज, एस.; श्मिट, वी.; मोलर, एस. नफरत भरे भाषण की पहचान के लिए एक फ़ीचर एक्सट्रैक्शन आधारित मॉडल। arXiv 2022, arXiv: 2201.04227। 21. कुलदोशबे, ए.; अब्दुस्सलोमोव, ए.; मुखिद्दीनोव, एम.; बारातोव, एन.; मखमुदोव, एफ.; चो, वाईआई सीएनएन पर प्रयुक्त अल्ट्रासाउंड छवियों के लिए स्वचालित वर्गीकरण पद्धति में सुधार। इंट. जे. वेवलेट्स मल्टीरिज़ॉल्यूशन इंफ. प्रक्रिया। 2022, 20, 2150054. 22. पास्रिचा, वी.; अग्रवाल, आरके स्वचालित वाक् पहचान के लिए गहरे सीएनएन और द्विदिशात्मक एलएसटीएम का एक संकर। जे. इंटेल. सिस्ट. 2020, 29, 1261-1274। [क्रॉसरेफ] 23. मुखमादियेव, ए.; खुजायारोव, आई.; जुरेव, ओ.; चो, जे. उज़्बेक भाषा के लिए गहन शिक्षण दृष्टिकोण पर आधारित स्वचालित वाक् पहचान विधि। सेंसर 2022, 22, 3683। [क्रॉसरेफ] [पबमेड] 24. ली, एफ.; लियू, एम.; झाओ, वाई.; कोंग, एल.; डोंग, एल.; लियू, एक्स.; हुई, एम. 1डी कनवल्शनल न्यूरल नेटवर्क का उपयोग करके हृदय ध्वनि का फ़ीचर निष्कर्षण और वर्गीकरण। यूरेसिप जे. सलाहकार. सिग्नल प्रक्रिया. 2019, 2019, 59. [क्रॉसरेफ] 25. चांग, एल.-सी.; हंग, जे.-डब्ल्यू. गहन ध्वनिक मॉडल में राज्यों की संभावना को अधिकतम करने के आधार पर मजबूत भाषण फ़ीचर निष्कर्षण का प्रारंभिक अध्ययन। आवेदन. सिस्ट. इनोव। 2022, 5, 71. [क्रॉसरेफ] 26. रामिरेज़, जे.; गोर्रिज़, जेएम; सेगुरा, जेसी वॉयस एक्टिविटी डिटेक्शन। बुनियादी बातें और वाक् पहचान प्रणाली की मजबूती। मजबूत भाषण पहचान और समझ में; ग्रिम, एम., क्रोशेल, के., एड.; आई-टेक शिक्षा और प्रकाशन: लंदन, यूके, 2007; पृ. 1-22. 27. ओह, एस. डीएनएन आधारित मजबूत भाषण सुविधा निष्कर्षण और सिग्नल शोर हटाने की विधि भाषण पहचान के लिए बेहतर औसत भविष्यवाणी एलएमएस फ़िल्टर का उपयोग करना। जे. कन्वर्ग. इंफ. तकनीक. 2021, 11, 1-6. [क्रॉसरेफ] 28. अब्बास्चियान, बी.जे.; सिएरा-सोसा, डी.; एल्माघराबी, ए. डेटाबेस से मॉडल तक भाषण भावना पहचान के लिए गहन शिक्षण तकनीकें। सेंसर 2021, 21, 1249। [क्रॉसरेफ] 29. राखीमोव, एम.; ममदजानोव, डी.; मुखिद्दीनोव, ए. वितरित कंप्यूटिंग में छवि प्रसंस्करण के लिए एक उच्च प्रदर्शन समानांतर दृष्टिकोण। सूचना और संचार प्रौद्योगिकी (एआईसीटी) के अनुप्रयोग पर 2020 आईईईई 14वें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, उज़्बेकिस्तान, ताशकंद, 7-9 अक्टूबर 2020; पृ. 1-5. [क्रॉसरेफ] 30. अब्दुस्सलोमोव, ए.; मुखिद्दीनोव, एम.; जुरेव, ओ.; खामदामोव, यू.; व्हांगबो, टीके स्वचालित मुख्य वस्तु निष्कर्षण, स्पर्शनीय ग्राफिक्स उत्पन्न करने के लिए स्थानीय रूप से अनुकूली थ्रेशोल्डिंग पर आधारित है। आवेदन. विज्ञान. 2020, 10, 3350। [क्रॉसरेफ] 31. अब्दुस्सलोमोव, ए.; व्हांगबो, टीके इनडोर वातावरण के लिए छाया हटाने की तकनीक का उपयोग करके अग्रभूमि पहचान पद्धति में सुधार। इंट. जे. वेवलेट्स मल्टीरिज़ॉल्यूशन इंफ. प्रक्रिया। 2017, 15, 1750039। [क्रॉसरेफ] 32. अब्दुस्सलोमोव, ए.; व्हांगबो, टीके इनडोर वीडियो स्ट्रीम के लिए ज्यामिति और रंग जानकारी का उपयोग करके चलती वस्तु छाया का पता लगाना और हटाना। आवेदन. विज्ञान. 2019, 9, 5165। [क्रॉसरेफ] 33. मेरी, डी. एक्स-रे परीक्षण के लिए कंप्यूटर विजन; स्प्रिंगर इंटरनेशनल पब्लिशिंग: चाम, स्विट्जरलैंड, 2015; पी। 271, आईएसबीएन 978-3319207469। 34. मार्क, एस. भाषण इमेजरी भाषण-धारणा सीमाओं को पुन: व्यवस्थित करती है। दस में। धारणा. मनोविकार। 2016, 78, 1496-1511। [क्रॉसरेफ] 35. मुद्गल, ई.; मुकुन्थाराज, एस.; मोदक, एमयू; राव, वाईएस टेम्पलेट आधारित रीयल-टाइम वाक् पहचान DSP-TMS320F28335 पर डिजिटल फिल्टर का उपयोग करते हुए। कंप्यूटिंग संचार नियंत्रण और स्वचालन (आईसीसीयूबीईए), पुणे, भारत पर 2018 के चौथे अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, 16-18 अगस्त 2018; पृ. 1-6. [क्रॉसरेफ]
