आप यह निर्धारित करने के लिए विभिन्न AI चैटबॉट्स का परीक्षण कर सकते हैं कि कौन सबसे अच्छा काम करता है। लेकिन आपको यह कैसे करना चाहिए? यहाँ कुछ प्रमुख कारकों पर विचार किया गया है।
एआई अप्रासंगिक, असंगत आउटपुट उत्पन्न करने से एक लंबा सफर तय कर चुका है। आधुनिक चैटबॉट उन्नत भाषा मॉडल का उपयोग करते हैं जो अन्य जटिल कार्यों के बीच सामान्य ज्ञान के प्रश्नों का उत्तर देते हैं, लंबे निबंध लिखते हैं, और कोड लिखते हैं।
इन प्रगति के बावजूद, ध्यान दें कि सबसे परिष्कृत प्रणालियों की भी सीमाएँ हैं। एआई अभी भी गलतियाँ करता है। यह निर्धारित करने के लिए कि कौन से चैटबॉट कम से कम मतिभ्रम के शिकार हैं, इन कारकों के आधार पर उनकी सटीकता का परीक्षण करें।
1. numeracy
चैटबॉट्स के माध्यम से गणित के समीकरण चलाएं। वे शब्द समस्याओं का विश्लेषण करने, गणितीय अवधारणाओं का अनुवाद करने और सही सूत्र लागू करने की प्लेटफ़ॉर्म की क्षमता का परीक्षण करेंगे। केवल कुछ ही मॉडल विश्वसनीय अंकज्ञान प्रदर्शित करते हैं। वास्तव में, में से एक चैटजीपीटी के दौरान सबसे खराब मुद्दे इसके पहले महीने इसकी भयानक गणित समझ थे।
नीचे दी गई छवि दिखाती है कि चैटजीपीटी बुनियादी आँकड़ों में विफल है।
चैटजीपीटी ने बाद में सुधार दिखाया OpenAI ने अपने मई 2023 के अपडेट जारी किए. लेकिन इसके सीमित डेटासेट को देखते हुए, आपको अभी भी इंटरमीडिएट से उन्नत गणितीय संगणनाओं में परेशानी होगी।
इस बीच, बिंग चैट और Google बार्ड बेहतर संख्यात्मकता दिखाते हैं। वे अपने संबंधित खोज इंजनों के माध्यम से प्रश्न पूछते हैं, जिससे उन्हें सूत्र और उत्तर पत्रक निकालने में मदद मिलती है।
अपनी शब्द समस्याओं को फिर से लिखने का प्रयास करें। लंबे वाक्यों से बचें और कमजोर क्रियाओं को बदलें; अन्यथा, चैटबॉट आपके प्रश्नों को गलत समझ सकते हैं।
2. समझ
आधुनिक एआई सिस्टम कई कार्य कर सकते हैं। उन्नत एलएलएम उन्हें पिछले निर्देशों को बनाए रखने और अनुभाग द्वारा संकेतों का उत्तर देने में सक्षम बनाता है, जबकि पुराने सिस्टम एकवचन आदेशों को संसाधित करते हैं। उदाहरण के लिए, सिरी एक समय में एक प्रश्न का उत्तर देता है।
चैटबॉट्स को एक साथ तीन से पांच कार्य खिलाएं ताकि यह परीक्षण किया जा सके कि वे जटिल संकेतों का कितनी अच्छी तरह विश्लेषण करते हैं। कम परिष्कृत मॉडल इतनी जानकारी संसाधित नहीं कर सकते। नीचे दी गई छवि हगिंगचैट को तीन-चरणीय संकेत पर खराबी दिखाती है - यह पहले चरण पर रुक जाती है और विषय से विचलित हो जाती है।
हगिंगचैट की अंतिम पंक्तियां पहले से ही असंगत हैं।
ChatGPT उसी संकेत को जल्दी से पूरा करता है, हर कदम पर त्रुटि-मुक्त, बुद्धिमान प्रतिक्रिया उत्पन्न करता है।
बिंग चैट तीन चरणों का संक्षिप्त उत्तर प्रदान करता है। इसके कठोर प्रतिबंध अनावश्यक रूप से लंबे आउटपुट को प्रतिबंधित करते हैं जो प्रसंस्करण शक्ति को बर्बाद करते हैं।
3. सामयिकता
चूंकि एआई प्रशिक्षण में बड़े पैमाने पर संसाधन खर्च होते हैं, अधिकांश डेवलपर्स डेटासेट को विशिष्ट अवधि तक सीमित करते हैं। उदाहरण के तौर पर चैटजीपीटी को लें। इसमें सितंबर 2021 का नॉलेज कट-ऑफ है—आप मौसम के अपडेट, समाचार रिपोर्ट या हाल के घटनाक्रम का अनुरोध नहीं कर सकते। यहाँ चैटजीपीटी कह रहा है कि इसकी वास्तविक समय की जानकारी तक कोई पहुँच नहीं है।
बार्ड की इंटरनेट तक पहुंच है। यह Google SERPs से डेटा प्राप्त करता है, इसलिए आप व्यापक प्रश्न पूछ सकते हैं, उदाहरण के लिए, हाल की घटनाएं, समाचार और भविष्यवाणियां।
इसी तरह, बिंग चैट अपने सर्च इंजन से वास्तविक समय की जानकारी प्राप्त करता है।
बिंग चैट और बार्ड समय पर, अद्यतन जानकारी प्रदान करते हैं, लेकिन बाद वाला अधिक विस्तृत प्रतिक्रिया प्रदान करता है। बिंग केवल डेटा को जैसा है वैसा ही प्रस्तुत करता है। आप देखेंगे कि इसके आउटपुट अक्सर शब्दशः इससे जुड़े स्रोतों के शब्दों और लहजे से मेल खाते हैं।
4. प्रासंगिकता
चैटबॉट्स को प्रासंगिक आउटपुट प्रदान करना चाहिए। जवाब देते समय उन्हें आपके संकेतों के शाब्दिक और प्रासंगिक अर्थ पर विचार करना चाहिए। इस बातचीत को एक उदाहरण के रूप में लें। हमारे व्यक्तित्व को एक नया फ़ोन चाहिए, लेकिन उसके पास केवल $1,000 हैं—ChatGPT बजट से अधिक नहीं है।
प्रासंगिकता के लिए परीक्षण करते समय, लंबे निर्देश तैयार करने का प्रयास करें। भ्रामक निर्देश दिए जाने पर कम परिष्कृत चैटबॉट स्पर्शरेखा पर चले जाते हैं। उदाहरण के लिए, हगिंगचैट काल्पनिक कहानियों की रचना कर सकता है। लेकिन यदि आप बहुत अधिक नियम और दिशानिर्देश निर्धारित करते हैं तो यह मुख्य विषय से भटक सकता है।
5. प्रासंगिक स्मृति
प्रासंगिक मेमोरी एआई को सटीक, विश्वसनीय आउटपुट देने में मदद करती है। आपके प्रश्नों को अंकित मूल्य पर लेने के बजाय, वे आपके द्वारा उल्लेखित विवरणों को एक साथ पिरोते हैं। इस बातचीत को एक उदाहरण के रूप में लें। बिंग चैट सहायक, संक्षिप्त प्रतिक्रिया बनाने के लिए दो अलग-अलग संदेशों को जोड़ता है।
इसी तरह, प्रासंगिक मेमोरी चैटबॉट्स को निर्देश याद रखने की अनुमति देती है। यह छवि चैटजीपीटी को कई चैट के दौरान एक काल्पनिक चरित्र की बातचीत के तरीके की नकल करते हुए दिखाती है।
पिछले बयानों को लगातार संदर्भित करके इस फ़ंक्शन का स्वयं परीक्षण करें। चैटबॉट्स को विभिन्न जानकारी फ़ीड करें, फिर उन्हें बाद की प्रतिक्रियाओं में इन्हें वापस बुलाने के लिए बाध्य करें।
प्रासंगिक स्मृति सीमित है। बिंग चैट हर 20 मोड़ पर नई बातचीत शुरू करता है, जबकि चैटजीपीटी 3,000 से अधिक टोकन के संकेतों को संसाधित नहीं कर सकता है।
6. सुरक्षा प्रतिबंध
एआई हमेशा इरादा के अनुसार नहीं करता है। दोषपूर्ण प्रशिक्षण कारण हो सकता है विभिन्न गलतियाँ करने के लिए मशीन लर्निंग प्रौद्योगिकियाँ, मामूली गणित की त्रुटियों से लेकर समस्याग्रस्त टिप्पणियों तक। लेना माइक्रोसॉफ्ट ताई उदहारण के लिए। ट्विटर यूजर्स ने इसके अनपेक्षित लर्निंग मॉडल का फायदा उठाया और इसे नस्लीय स्लर्स कहने में वातानुकूलित किया।
शुक्र है कि वैश्विक तकनीकी नेताओं ने माइक्रोसॉफ्ट की गलती से सीखा। हालांकि लागत-कुशल और सुविधाजनक, बिना निगरानी के सीखने से एआई सिस्टम धोखे का शिकार हो जाता है। इसलिए, डेवलपर्स आजकल मुख्य रूप से पर्यवेक्षित शिक्षण पर निर्भर हैं। चैटबॉट पसंद करते हैं चैटजीपीटी अभी भी बातचीत से सीखता है, लेकिन उनके प्रशिक्षक पहले जानकारी को फ़िल्टर करते हैं।
एआई कंपनियों से अलग-अलग दिशानिर्देशों की अपेक्षा करें। चैटजीपीटी के कम कठोर प्रतिबंध कार्यों की एक विस्तृत श्रृंखला को समायोजित करते हैं, लेकिन शोषण के खिलाफ कमजोर हैं। इस बीच, बिंग चैट कठोर सीमाओं का पालन करता है। जबकि वे शोषण के प्रयासों का मुकाबला करने में मदद करते हैं, वे कार्यक्षमता को भी बाधित करते हैं। Bing संभावित रूप से हानिकारक वार्तालापों को स्वचालित रूप से बंद कर देता है।
7. एआई पक्षपात
एआई स्वाभाविक रूप से तटस्थ है। इसकी वरीयताओं और भावनाओं की कमी इसे राय बनाने में असमर्थ बनाती है - यह केवल वह जानकारी प्रस्तुत करती है जिसे वह जानता है। यहां बताया गया है कि कैसे चैटजीपीटी व्यक्तिपरक विषयों पर प्रतिक्रिया करता है।
इस तटस्थता के बावजूद, एआई पक्षपात अभी भी उठता है। वे डेवलपर्स द्वारा उपयोग किए जाने वाले पैटर्न, डेटासेट, एल्गोरिदम और मॉडल से उत्पन्न होते हैं। एआई निष्पक्ष हो सकता है, लेकिन मनुष्य नहीं।
उदाहरण के लिए, ब्रुकिंग्स इंस्टीट्यूशन दावा है कि चैटजीपीटी वामपंथी राजनीतिक पूर्वाग्रहों को प्रदर्शित करता है। OpenAI बेशक इन आरोपों से इनकार करता है। लेकिन नए मॉडल के साथ इसी तरह के मुद्दों से बचने के लिए, चैटजीपीटी पूरी तरह से ओपिनियन आउटपुट से बचता है।
इसी तरह, बिंग चैट संवेदनशील, व्यक्तिपरक मामलों से बचता है।
ओपिनियन-बेस्ड, ओपन-एंडेड प्रश्न पूछकर एआई पूर्वाग्रहों का स्वयं आकलन करें। बिना किसी सही या गलत उत्तर वाले विषयों के बारे में बात करें- कम परिष्कृत चैटबॉट विशिष्ट समूहों के प्रति आधारहीन वरीयताएँ प्रदर्शित करेंगे।
8. संदर्भ
एआई शायद ही कभी तथ्यों की दोबारा जांच करता है। यह केवल अपने डेटासेट से जानकारी खींचता है और भाषा मॉडल के माध्यम से उन्हें फिर से प्रस्तुत करता है। दुर्भाग्य से, सीमित प्रशिक्षण एआई मतिभ्रम का कारण बनता है। आप अभी भी शोध के लिए जेनेरेटिव AI टूल का उपयोग कर सकते हैं, लेकिन सुनिश्चित करें कि आप तथ्यों को स्वयं सत्यापित करते हैं। नमक के दाने के साथ आउटपुट लें।
बिंग चैट प्रत्येक आउटपुट के बाद इसके संदर्भों को सूचीबद्ध करके तथ्य-जांच प्रक्रिया को सरल बनाता है।
बार्ड एआई अपने स्रोतों को सूचीबद्ध नहीं करता है लेकिन Google खोज प्रश्नों को चलाकर अद्यतन, गहन स्पष्टीकरण उत्पन्न करता है। आपको SERPs से मुख्य बिंदु मिलेंगे।
चैटजीपीटी में अशुद्धि होने का खतरा है। इसका 2021 नॉलेज कट-ऑफ हाल की घटनाओं और घटनाओं के बारे में सवालों के जवाब देने से रोकता है।
सटीकता के लिए चैटबॉट्स का परीक्षण करने के नए तरीके बनाएं
एआई तकनीक का सब कुछ और अंत नहीं है। जबकि परिष्कृत एआई सिस्टम और भाषा मॉडल प्रभावशाली काम करते हैं, वे त्रुटियां और विसंगतियां भी करते हैं। चैटबॉट्स को संदेह के साथ देखें। आप एआई-संचालित प्लेटफॉर्म का उपयोग केवल तभी कर सकते हैं जब आप उनके कार्यों और सीमाओं को समझते हों।
हालाँकि सभी प्लेटफार्मों पर दर्जनों चैटबॉट हैं, लेकिन उनकी विश्वसनीयता और सटीकता आपको निराश कर सकती है। आप केवल उनका परीक्षण करने में समय बर्बाद करेंगे। गुणवत्तापूर्ण परिणाम सुनिश्चित करने के लिए, हम सुझाव देते हैं कि बाजार के तीन सबसे मजबूत मॉडलों पर ध्यान केंद्रित करें: चैटजीपीटी, बिंग एआई और गूगल बार्ड।