चैटजीपीटी टोकन सीमा क्या है और क्या आप इसे पार कर सकते हैं?

ChatGPT ने तकनीकी दुनिया में तूफान ला दिया है, और प्रगति और अपडेट की कोई कमी नहीं है। लेकिन उन्नत तकनीक के उपयोग के बावजूद, वर्तमान संस्करण में कुछ सीमित कारक हैं।

ऐसा ही एक कारक टोकन सिस्टम है, जो विकास चक्र को तोड़ना जारी रखता है, ऐप की उपयोगिता को अपने घुटनों पर लाता है। यदि आप चैटजीपीटी का उपयोग करते हैं, तो हो सकता है कि आप चैटजीपीटी के टोकन के बारे में जानना चाहें और टोकन खत्म होने पर क्या करें।

आइए एक कदम पीछे लेते हैं और आपको ऐप के अंतर्निहित कार्य तंत्र के बारे में जानने के लिए एक अंतर्दृष्टि प्रदान करते हैं।

चैटजीपीटी टोकन क्या है?

यदि आप ऐप के बहाने से जाते हैं, तो आप देखते हैं कि एक कंप्यूटर भाषा है जो आपके आदेशों का पालन करती है और आपको उत्तर देती है जो आप चाहते हैं। हालाँकि, बैकएंड बहुत सारे कोड हैं, हर मिनट सीखते हैं, और उन सवालों के साथ तेजी से बढ़ते हैं जो इसका जवाब देते हैं।

जब भी आप कोई प्रश्न पूछते हैं, ChatGPT प्रत्येक शब्द को एक सुपाठ्य टोकन में बदल देता है। इसे और अधिक तोड़ने के लिए, टोकन पाठ के टुकड़े हैं, और आवश्यकताओं को समझने के लिए प्रत्येक प्रोग्रामिंग भाषा टोकन मूल्यों के एक अलग सेट का उपयोग करती है।

चूंकि कंप्यूटर सीधे पाठ मानों को नहीं समझते हैं, वे उन्हें संख्याओं के संयोजन में तोड़ देते हैं, जिन्हें अक्सर एम्बेडिंग कहा जाता है। आप एम्बेडिंग पर भी विचार कर सकते हैं पायथन सूचियाँ, जो संबंधित संख्याओं की एक सूची के समान है, जैसे [1.1,2.1,3.1,4.1…n]।

एक बार जब ChatGPT प्रारंभिक इनपुट ले लेता है, तो यह पिछली जानकारी के आधार पर अगले संभावित इनपुट की भविष्यवाणी करने की कोशिश करता है। यह पिछले टोकन की पूरी सूची चुनता है और इसके कोडिंग संश्लेषण का उपयोग करके, उपयोगकर्ता द्वारा बाद के इनपुट को रोकने की कोशिश करता है। यह भाषा के उपयोग को समझने के लिए इसे आसान बनाने के लिए एक समय में एक टोकन का उपयोग और भविष्यवाणी करता है।

भविष्यवाणियों को बढ़ाने और सटीकता में सुधार करने के लिए, यह एम्बेडिंग की पूरी सूची को चुनता है और शब्दों के बीच जुड़ाव स्थापित करने के लिए इसे ट्रांसफॉर्मर लेयर्स के माध्यम से पास करता है। उदाहरण के लिए, जब आप "थॉमस एडिसन कौन हैं?" जैसा प्रश्न पूछते हैं, तो चैटजीपीटी सूची में सबसे मूल्यवान शब्द चुनता है: WHO और एडीसन.

पूरी प्रक्रिया में ट्रांसफार्मर की परतों की अपनी भूमिका होती है। ये परतें शब्दों की एक स्ट्रिंग से सबसे अधिक प्रासंगिक कीवर्ड लेने के लिए प्रशिक्षित तंत्रिका नेटवर्क आर्किटेक्चर का एक रूप हैं। हालाँकि, प्रशिक्षण प्रक्रिया उतनी सरल नहीं है जितनी यह लगती है, क्योंकि डेटा के गीगाबाइट पर ट्रांसफार्मर परतों को प्रशिक्षित करने में लंबा समय लगता है।

भले ही चैटजीपीटी एक समय में केवल एक टोकन की भविष्यवाणी करता है, इसकी ऑटो-रिग्रेसिव तकनीक को भविष्यवाणी करने और आउटपुट जारी करने के लिए प्राथमिक मॉडल में वापस फीड करने के लिए प्रोग्राम किया जाता है। मॉडल को प्रत्येक टोकन के लिए केवल एक बार चलाने के लिए ट्यून किया गया है, इसलिए परिणाम एक समय में एक शब्द मुद्रित होता है। जब एप्लिकेशन स्टॉप टोकन कमांड का सामना करता है तो आउटपुट स्वचालित रूप से बंद हो जाता है।

उदाहरण के लिए, यदि आप चैटजीपीटी वेबसाइट पर टोकन कैलकुलेटर देखते हैं, तो आप अपने प्रश्नों के आधार पर अपने टोकन उपयोग की गणना कर सकते हैं।

आइए कुछ नमूना पाठ दर्ज करें, जैसे:

मैं टोकन के उपयोग की व्याख्या कैसे करूं में चैटजीपीटी?

कैलकुलेटर के अनुसार, इस स्ट्रिंग में 46 अक्षर हैं, जो 13 टोकन की खपत करेगा। यदि आप इसे टोकन आईडी में तोड़ते हैं, तो यह कुछ ऐसा दिखता है:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

के अनुसार OpenAI टोकन कैलकुलेटर:

अंगूठे का एक सहायक नियम यह है कि एक टोकन आम तौर पर सामान्य अंग्रेजी पाठ के पाठ के ~ 4 वर्णों से मेल खाता है। यह लगभग ¾ शब्द का अनुवाद करता है (इसलिए 100 टोकन ~ = 75 शब्द)।

मुक्त बनाम। भुगतान किए गए टोकन

चैटजीपीटी एप्लिकेशन के भीतर क्या है इसका स्वाद देने के लिए, ओपनएआई आपको मुफ्त सीमित टोकन सदस्यता प्रदान करता है। अगर आप चैटजीपीटी एपीआई के साथ प्रयोग करना चाहते हैं, तो मुफ्त $5 क्रेडिट का उपयोग करें, जो तीन महीने के लिए वैध है। एक बार जब सीमा समाप्त हो जाती है (या परीक्षण अवधि समाप्त हो जाती है), तो आप चलते-फिरते भुगतान कर सकते हैं, जिससे अधिकतम कोटा बढ़कर $120 हो जाता है।

चैटजीपीटी प्लस: क्या सशुल्क सदस्यता इसके लायक है?

इसे एक पायदान ऊपर ले जाने के लिए, आप इसके लिए साइन अप भी कर सकते हैं चैटजीपीटी प्लस ऑफर, जो आपको $20 प्रति माह वापस सेट करता है। संपूर्ण एआई मॉडल के व्यापक उपयोग और लोकप्रियता को देखते हुए, यहां पेड सब्सक्रिप्शन मॉडल की शीर्ष विशेषताएं हैं:

• चैटजीपीटी तक पहुंच, तब भी जब वेबसाइट उपयोगकर्ताओं के प्रवाह के कारण डाउनटाइम का अनुभव कर रही हो
• बेहतर प्रतिक्रिया दर
• नई सुविधाओं और रिलीज के लिए प्रत्यक्ष पहुंच

यदि आपको लगता है कि ये सुविधाएँ पूरी तरह से इसके लायक हैं और आपके काम में आती हैं, तो आप सशुल्क सब्सक्रिप्शन के लिए नामांकन कर सकते हैं और तुरंत उनसे लाभ उठा सकते हैं।

चैटजीपीटी टोकन मूल्य निर्धारण संरचना

कुछ अलग एप्लिकेशन मॉडल उपलब्ध हैं, जिन्हें आप अपनी आवश्यकताओं के आधार पर चुन सकते हैं:

Ada सबसे तेज़ है, जबकि DaVinci मॉडलों की इस सूची में सबसे शक्तिशाली मॉडल है। प्रांप्ट प्रश्न है, जबकि पूर्णता उत्तरों से संबंधित है।

अधिकतम टोकन सीमा

प्रत्येक मॉडल आपको प्रत्येक क्वेरी के भीतर अधिकतम संख्या में टोकन सेट करने की अनुमति देता है। यह विधि आउटपुट को सीमित करते हुए, एकल कॉल में उत्पन्न होने वाले टोकन की अधिकतम संख्या को नियंत्रित करती है। Max_token सुविधा काफी उपयोगी है, खासकर जब आप अपने टोकन उपयोग और क्रेडिट के अति प्रयोग से बचने के दौरान अपने आउटपुट की लंबाई को नियंत्रित करना चाहते हैं। डिफ़ॉल्ट लंबाई 2048 टोकन पर तय की गई है, जबकि अधिकतम 4096 टोकन पर सेट की जा सकती है।

टोकन के उपयोग को प्रतिबंधित करने से छोटे उत्तर मिल सकते हैं, जो आउटपुट को सीमित कर सकते हैं और आपके उपयोग के अनुभव को खराब कर सकते हैं।

चैटजीपीटी3 की ऊपरी सीमा 4096 है; हालाँकि, ChatGPT4 की शुरुआत के साथ, टोकन की सीमाएँ इस प्रकार बढ़ जाती हैं:

यदि आपका आउटपुट छोटा है, तो आपको अपने डैशबोर्ड से निर्दिष्ट अधिकतम सीमा बढ़ानी होगी। याद रखें, आपके प्रांप्ट और अधिकतम टोकन का योग हमेशा मॉडल की अधिकतम टोकन सीमा के बराबर से कम होना चाहिए।

उदाहरण के लिए, चैटजीपीटी मॉडल के भीतर, Prompt_tokens + max_tokens <= 4096 टोकन.

सर्वोत्तम परिणामों के लिए अपने चैटजीपीटी संकेतों को नियंत्रित करना सीखें

कोई फर्क नहीं पड़ता कि आप एआई-संचालित एप्लिकेशन का उपयोग कैसे करते हैं, संभावना है कि आपको अपने प्रश्नों और वाक्यांशों के साथ स्मार्ट तरीके से खेलने के तरीके ईजाद करने होंगे। आपके उपयोग के पैटर्न के आधार पर, आप संभवतः हर कार्य के लिए बड़े पैमाने पर चैटजीपीटी का उपयोग करेंगे।

सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको यह सीखना होगा कि टोकन पद्धति के साथ कैसे काम करना है और यह सुनिश्चित करने के लिए अपने कौशल को बढ़ाना चाहिए कि आपको सर्वोत्तम संभव उत्तर देते हुए आपकी उपयोग सीमा बरकरार रहे।