लैंगचेन एलएलएम शहर में चर्चा का विषय बना हुआ है। यह क्या है और आप इसकी शुरुआत कैसे कर सकते हैं, इसका अवलोकन करें।
बड़े भाषा मॉडल (एलएलएम) की शुरूआत के साथ, प्राकृतिक भाषा प्रसंस्करण इंटरनेट पर चर्चा का विषय रहा है। चैटजीपीटी और लैंगचेन जैसे एलएलएम के कारण प्रतिदिन नए एप्लिकेशन विकसित हो रहे हैं।
लैंगचेन एक ओपन-सोर्स पायथन फ्रेमवर्क है जो डेवलपर्स को बड़े भाषा मॉडल द्वारा संचालित एप्लिकेशन विकसित करने में सक्षम बनाता है। इसके अनुप्रयोग चैटबॉट्स, सारांशीकरण, जेनरेटिव प्रश्नोत्तरी और उत्तर देना और बहुत कुछ हैं।
यह लेख लैंगचेन एलएलएम का परिचय प्रदान करेगा। इसमें बुनियादी अवधारणाओं को शामिल किया जाएगा, यह अन्य भाषा मॉडलों से कैसे तुलना की जाती है, और इसके साथ कैसे शुरुआत की जाए।
लैंगचेन एलएलएम को समझना
लैंगचेन कैसे काम करता है यह समझाने से पहले, आपको यह समझने की जरूरत है बड़े भाषा मॉडल कैसे काम करते हैं. एक बड़ा भाषा मॉडल एक प्रकार का कृत्रिम बुद्धिमत्ता (एआई) है गहन शिक्षा का उपयोग करता है पाठ्य, संख्यात्मक और कोड डेटा वाले बड़े डेटा पर मशीन लर्निंग मॉडल को प्रशिक्षित करना।
डेटा की विशाल मात्रा मॉडल को शब्दों, आंकड़ों और प्रतीकों के बीच मौजूदा पैटर्न और संबंधों को सीखने में सक्षम बनाती है। यह सुविधा मॉडल को कई प्रकार के कार्य करने की अनुमति देती है, जैसे:
- पाठ निर्माण, भाषा अनुवाद, रचनात्मक, तकनीकी और शैक्षणिक सामग्री लेखन, और सटीक और प्रासंगिक प्रश्न उत्तर।
- छवियों में वस्तु का पता लगाना।
- पुस्तकों, लेखों और शोध पत्रों का सारांश।
एलएलएम की सबसे महत्वपूर्ण सीमा यह है कि मॉडल बहुत सामान्य हैं। इस सुविधा का मतलब है कि कई कार्यों को प्रभावी ढंग से करने की उनकी क्षमता के बावजूद, वे कभी-कभी प्रदान कर सकते हैं विशिष्ट के बजाय विशेषज्ञता और गहन डोमेन ज्ञान की आवश्यकता वाले प्रश्नों या संकेतों के सामान्य उत्तर उत्तर.
2022 के अंत में हैरिसन चेज़ द्वारा विकसित, लैंगचेन फ्रेमवर्क एलएलएम के लिए एक अभिनव दृष्टिकोण प्रदान करता है। प्रक्रिया डेटासेट टेक्स्ट को छोटे भागों में तोड़कर प्रीप्रोसेस करने से शुरू होती है सारांश. फिर सारांश को एक सदिश स्थान में एम्बेड किया जाता है। मॉडल एक प्रश्न प्राप्त करता है, सारांश खोजता है, और उचित प्रतिक्रिया प्रदान करता है।
लैंगचेन की प्रीप्रोसेसिंग विधि एक महत्वपूर्ण विशेषता है जो अपरिहार्य है क्योंकि एलएलएम अधिक शक्तिशाली और डेटा-गहन हो गए हैं। इस पद्धति का उपयोग मुख्य रूप से कोड और सिमेंटिक खोज मामलों में किया जाता है क्योंकि यह एलएलएम के साथ वास्तविक समय संग्रह और इंटरैक्शन प्रदान करता है।
लैंगचेन एलएलएम बनाम। अन्य भाषा मॉडल
निम्नलिखित तुलनात्मक अवलोकन का उद्देश्य उन अनूठी विशेषताओं और क्षमताओं को उजागर करना है जो लैंगचेन एलएलएम को बाजार में अन्य मौजूदा भाषा मॉडल से अलग करती हैं:
- याद: कई एलएलएम में मेमोरी कम होती है, जिसके परिणामस्वरूप आमतौर पर संदर्भ हानि होती है यदि संकेत मेमोरी सीमा से अधिक हो जाते हैं। हालाँकि, लैंगचेन मेमोरी सीमा की समस्या को हल करते हुए पिछली चैट संकेत और प्रतिक्रियाएँ प्रदान करता है। संदेश इतिहास उपयोगकर्ता को पिछले संदर्भ को दोहराने के लिए एलएलएम में पिछले संदेशों को दोहराने में सक्षम बनाता है।
- एलएलएम स्विचिंग: अन्य एलएलएम की तुलना में जो आपके सॉफ़्टवेयर को एक मॉडल के एपीआई के साथ लॉक करते हैं, लैंगचेन एक अमूर्तता प्रदान करता है जो एलएलएम के स्विचिंग या आपके एप्लिकेशन में कई एलएलएम को एकीकृत करने को सरल बनाता है। यह तब उपयोगी होता है जब आप एक कॉम्पैक्ट मॉडल का उपयोग करके अपनी सॉफ़्टवेयर क्षमताओं को अपग्रेड करना चाहते हैं, जैसे कि ओपनएआई के जीपीटी-3.5 से स्टेबिलिटी एआई का स्टेबलएलएम।
- एकीकरण: अन्य एलएलएम की तुलना में लैंगचेन को अपने एप्लिकेशन में एकीकृत करना आसान है। यह पाइपलाइन वर्कफ़्लो प्रदान करता है चेन और एजेंट, जो आपको लैंगचेन को अपने एप्लिकेशन में शीघ्रता से शामिल करने की अनुमति देता है। रैखिक पाइपलाइनों के संदर्भ में, श्रृंखलाएं ऐसी वस्तुएं हैं जो अनिवार्य रूप से कई हिस्सों को जोड़ती हैं। एजेंट अधिक उन्नत हैं, जो आपको यह चुनने की अनुमति देते हैं कि व्यावसायिक तर्क का उपयोग करके घटकों को कैसे इंटरैक्ट करना चाहिए। उदाहरण के लिए, आप एलएलएम के परिणामों के आधार पर कार्रवाई के अगले पाठ्यक्रम को निर्धारित करने के लिए सशर्त तर्क का उपयोग करना चाह सकते हैं।
- डेटा पासिंग: एलएलएम की सामान्य पाठ-आधारित प्रकृति के कारण, मॉडल में डेटा पास करना आमतौर पर मुश्किल होता है। लैंगचेन का उपयोग करके इस समस्या का समाधान किया जाता है अनुक्रमणिका. इंडेक्स किसी एप्लिकेशन को परिवर्तनीय स्वरूपों में डेटा आयात करने और इसे इस तरह से संग्रहीत करने में सक्षम बनाता है जिससे एलएलएम में पंक्ति-दर-पंक्ति सेवा करना संभव हो जाता है।
- जवाब: लैंगचेन अन्य एलएलएम के विपरीत उपयुक्त प्रारूप में उत्तर देने के लिए आउटपुट पार्सर टूल प्रदान करता है, जिनके मॉडल प्रतिक्रिया में सामान्य पाठ होता है। किसी एप्लिकेशन में एआई का उपयोग करते समय, एक संरचित प्रतिक्रिया को प्राथमिकता दी जाती है जिसके विरुद्ध आप प्रोग्राम कर सकते हैं।
लैंगचेन एलएलएम के साथ शुरुआत करना
अब आप सीखेंगे कि लैंगचेन को वास्तविक उपयोग के मामले में कैसे लागू किया जाए ताकि यह समझ सके कि यह कैसे काम करता है। विकास शुरू करने से पहले, आपको विकास वातावरण स्थापित करने की आवश्यकता है।
अपना विकास परिवेश स्थापित करना
पहला, एक आभासी वातावरण बनाएँ और नीचे निर्भरताएँ स्थापित करें:
- ओपनएआई: GPT-3 API को अपने एप्लिकेशन में एकीकृत करने के लिए।
- लैंगचेन: लैंगचेन को अपने एप्लिकेशन में एकीकृत करने के लिए।
पाइप का उपयोग करके, निर्भरताएँ स्थापित करने के लिए नीचे दिए गए कमांड को चलाएँ:
पिपेनव लैंगचेन ओपनाई स्थापित करें
उपरोक्त आदेश पैकेजों को स्थापित करता है और एक आभासी वातावरण बनाता है।
स्थापित निर्भरताएँ आयात करें
सबसे पहले, आवश्यक कक्षाएं आयात करें जैसे कि एलएलएमचेन, ओपनएआई, वार्तालाप शृंखला, और संकेत टेम्पलेट से लैंगचैन पैकेट।
से लैंगचैन आयात कन्वर्सेशनचेन, ओपनएआई, प्रॉम्प्टटेम्पलेट, एलएलएमचेन
से लैंगचैन.मेमोरी आयात कन्वर्सेशनबफरविंडोमेमोरी
लैंगचैन कक्षाएं भाषा मॉडल श्रृंखलाओं की रूपरेखा तैयार करती हैं और उन्हें क्रियान्वित करती हैं।
OpenAI API कुंजी तक पहुंचें
इसके बाद, OpenAI API कुंजी प्राप्त करें। OpenAI की API कुंजी तक पहुंचने के लिए, आपके पास एक OpenAI खाता होना चाहिए, फिर पर जाएं ओपनएआई एपीआई प्लेटफॉर्म.
डैशबोर्ड पर प्रोफ़ाइल आइकन पर क्लिक करें. फिर, क्लिक करें एपीआई कुंजियाँ देखें बटन।
अगला, क्लिक करें नई गुप्त कुंजी बनाएं नई एपीआई कुंजी प्राप्त करने के लिए बटन।
एपीआई कुंजी का अनुरोधित नाम दर्ज करें।
आपको एक प्राप्त होगा गुप्त कुंजी तत्पर।
भविष्य में उपयोग के लिए एपीआई कुंजी को कॉपी करके सुरक्षित स्थान पर संग्रहीत करें।
लैंगचेन एलएलएम का उपयोग करके एक एप्लिकेशन विकसित करना
अब आप निम्नानुसार एक सरल चैट एप्लिकेशन विकसित करने के लिए आगे बढ़ेंगे:
# एलएलएम टेम्पलेट को कस्टमाइज़ करें
टेम्पलेट = Assistant OpenAI द्वारा प्रशिक्षित एक बड़ा भाषा मॉडल है।{इतिहास}
मानव: { human_input }
सहायक:
प्रॉम्प्ट = प्रॉम्प्टटेम्पलेट (input_variables=["इतिहास", "मानव_इनपुट"], टेम्पलेट=टेम्पलेट)
इसके बाद, आप पहले संग्रहीत एपीआई कुंजी का उपयोग करके चैटजीपीटी श्रृंखला लोड करेंगे।
चैटजीपीटी_चेन = एलएलएमचेन(एलएलएम=OpenAI(openai_api_key="OPENAI_API_KEY",तापमान=0),
शीघ्र = शीघ्र,
क्रिया =सत्य,
मेमोरी=कन्वर्सेशनबफ़रविंडोमेमोरी (k=2),
)
# चैटजीपीटी श्रृंखला का उपयोग करके एक वाक्य की भविष्यवाणी करें
आउटपुट = चैटजीपीटी_चेन.भविष्यवाणी(
human_input="MakeUseOf क्या है?"
)
# मॉडल की प्रतिक्रिया प्रदर्शित करें
प्रिंट (आउटपुट)
यह कोड एलएलएम श्रृंखला को ओपनएआई एपीआई कुंजी और प्रॉम्प्ट टेम्पलेट के साथ लोड करता है। फिर उपयोगकर्ता इनपुट प्रदान किया जाता है, और उसका आउटपुट प्रदर्शित होता है।
ऊपर अपेक्षित आउटपुट है.
एलएलएम का बढ़ता प्रभाव
एलएलएम की खपत तेजी से बढ़ रही है और यह बदल रही है कि मनुष्य ज्ञान मशीनों के साथ कैसे बातचीत करते हैं। लैंगचेन जैसे फ्रेमवर्क डेवलपर्स को एलएलएम को अनुप्रयोगों तक पहुंचाने का एक सहज और सरल तरीका प्रदान करने में सबसे आगे हैं। जेनेरिक एआई मॉडल जैसे चैटजीपीटी, बार्ड और हगिंग फेस भी एलएलएम अनुप्रयोगों को आगे बढ़ाने में पीछे नहीं हैं।