लामा 2 को स्थानीय रूप से कैसे डाउनलोड और इंस्टॉल करें

मेटा ने 2023 की गर्मियों में लामा 2 जारी किया। लामा का नया संस्करण मूल लामा मॉडल की तुलना में 40% अधिक टोकन के साथ बेहतर ढंग से तैयार किया गया है, जो इसकी संदर्भ लंबाई को दोगुना करता है और उपलब्ध अन्य ओपन-सोर्स मॉडल से काफी बेहतर प्रदर्शन करता है। लामा 2 तक पहुँचने का सबसे तेज़ और आसान तरीका एक ऑनलाइन प्लेटफ़ॉर्म के माध्यम से एपीआई है। हालाँकि, यदि आप सर्वोत्तम अनुभव चाहते हैं, तो लामा 2 को सीधे अपने कंप्यूटर पर इंस्टॉल करना और लोड करना सबसे अच्छा है।

इसे ध्यान में रखते हुए, हमने आपके कंप्यूटर पर स्थानीय रूप से क्वांटाइज़्ड लामा 2 एलएलएम को लोड करने के लिए टेक्स्ट-जेनरेशन-वेबयूआई का उपयोग करने के तरीके पर एक चरण-दर-चरण मार्गदर्शिका बनाई है।

लामा 2 को स्थानीय रूप से क्यों स्थापित करें?

ऐसे कई कारण हैं जिनकी वजह से लोग लामा 2 को सीधे चलाना चुनते हैं। कुछ इसे गोपनीयता संबंधी चिंताओं के लिए करते हैं, कुछ अनुकूलन के लिए, और अन्य ऑफ़लाइन क्षमताओं के लिए। यदि आप अपनी परियोजनाओं के लिए लामा 2 पर शोध कर रहे हैं, उसे ठीक कर रहे हैं, या एकीकृत कर रहे हैं, तो एपीआई के माध्यम से लामा 2 तक पहुँचना आपके लिए नहीं हो सकता है। आपके पीसी पर स्थानीय रूप से एलएलएम चलाने का उद्देश्य निर्भरता को कम करना है

तृतीय-पक्ष AI उपकरण और कंपनियों और अन्य संगठनों को संभावित संवेदनशील डेटा लीक होने की चिंता किए बिना, कभी भी, कहीं भी एआई का उपयोग करें।

इतना कहने के साथ, आइए लामा 2 को स्थानीय स्तर पर स्थापित करने के लिए चरण-दर-चरण मार्गदर्शिका से शुरुआत करें।

चीजों को सरल बनाने के लिए, हम टेक्स्ट-जेनरेशन-वेबयूआई (जीयूआई के साथ लामा 2 को लोड करने के लिए उपयोग किया जाने वाला प्रोग्राम) के लिए एक-क्लिक इंस्टॉलर का उपयोग करेंगे। हालाँकि, इस इंस्टॉलर को काम करने के लिए, आपको विज़ुअल स्टूडियो 2019 बिल्ड टूल डाउनलोड करना होगा और आवश्यक संसाधन स्थापित करने होंगे।

डाउनलोड करना:विजुअल स्टूडियो 2019 (मुक्त)

1. आगे बढ़ें और सॉफ़्टवेयर का सामुदायिक संस्करण डाउनलोड करें।
2. अब विजुअल स्टूडियो 2019 इंस्टॉल करें, फिर सॉफ्टवेयर खोलें। एक बार खोलने के बाद, बॉक्स पर टिक करें C++ के साथ डेस्कटॉप विकास और इंस्टॉल पर हिट करें।

अब जब आपके पास C++ के साथ डेस्कटॉप डेवलपमेंट स्थापित है, तो टेक्स्ट-जेनरेशन-वेबयूआई वन-क्लिक इंस्टॉलर डाउनलोड करने का समय आ गया है।

चरण 2: टेक्स्ट-जेनरेशन-वेबयूआई स्थापित करें

टेक्स्ट-जेनरेशन-वेबयूआई वन-क्लिक इंस्टॉलर एक स्क्रिप्ट है जो स्वचालित रूप से आवश्यक फ़ोल्डर बनाता है और एआई मॉडल को चलाने के लिए कॉनडा वातावरण और सभी आवश्यक आवश्यकताओं को सेट करता है।

स्क्रिप्ट इंस्टॉल करने के लिए वन-क्लिक इंस्टॉलर पर क्लिक करके डाउनलोड करें कोड > ज़िप डाउनलोड करें.

डाउनलोड करना:टेक्स्ट-जेनरेशन-वेबयूआई इंस्टालर (मुक्त)

1. एक बार डाउनलोड हो जाने पर, ज़िप फ़ाइल को अपने पसंदीदा स्थान पर निकालें, फिर निकाले गए फ़ोल्डर को खोलें।
2. फ़ोल्डर के भीतर, नीचे स्क्रॉल करें और अपने ऑपरेटिंग सिस्टम के लिए उपयुक्त स्टार्ट प्रोग्राम देखें। उपयुक्त स्क्रिप्ट पर डबल-क्लिक करके प्रोग्राम चलाएँ।
   • यदि आप विंडोज़ पर हैं, तो चुनें प्रारंभ_विंडोज़ बैच फ़ाइल
   • MacOS के लिए, चुनें प्रारंभ_मैकओएस शैल स्क्रिप
   • लिनक्स के लिए, स्टार्ट_लिनक्स शैल स्क्रिप्ट.
3. आपका एंटी-वायरस एक अलर्ट बना सकता है; यह ठीक है। संकेत सिर्फ एक है एंटीवायरस ग़लत सकारात्मक बैच फ़ाइल या स्क्रिप्ट चलाने के लिए। पर क्लिक करें बस ऐसे ही भागो.
4. एक टर्मिनल खुलेगा और सेटअप शुरू होगा. प्रारंभ में, सेटअप रुक जाएगा और आपसे पूछेगा कि आप किस GPU का उपयोग कर रहे हैं। अपने कंप्यूटर पर स्थापित उचित प्रकार का GPU चुनें और एंटर दबाएँ। जिनके पास समर्पित ग्राफ़िक्स कार्ड नहीं है, उनके लिए चयन करें कोई नहीं (मैं सीपीयू मोड में मॉडल चलाना चाहता हूं). ध्यान रखें कि समर्पित जीपीयू के साथ मॉडल चलाने की तुलना में सीपीयू मोड पर चलना बहुत धीमा है।
5. एक बार सेटअप पूरा हो जाने पर, अब आप टेक्स्ट-जेनरेशन-वेबयूआई को स्थानीय रूप से लॉन्च कर सकते हैं। आप अपना पसंदीदा वेब ब्राउज़र खोलकर और यूआरएल पर दिए गए आईपी पते को दर्ज करके ऐसा कर सकते हैं।
6. वेबयूआई अब उपयोग के लिए तैयार है।

हालाँकि, प्रोग्राम केवल एक मॉडल लोडर है। आइए मॉडल लोडर लॉन्च करने के लिए लामा 2 डाउनलोड करें।

चरण 3: लामा 2 मॉडल डाउनलोड करें

आपको लामा 2 के किस पुनरावृत्ति की आवश्यकता है, यह तय करते समय कई बातों पर विचार करना होगा। इनमें पैरामीटर, परिमाणीकरण, हार्डवेयर अनुकूलन, आकार और उपयोग शामिल हैं। यह सारी जानकारी मॉडल के नाम में अंकित मिलेगी।

• पैरामीटर: मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले मापदंडों की संख्या। बड़े पैरामीटर अधिक सक्षम मॉडल बनाते हैं लेकिन प्रदर्शन की कीमत पर।
• उपयोग: या तो मानक हो सकता है या चैट। एक चैट मॉडल को चैटजीपीटी जैसे चैटबॉट के रूप में उपयोग करने के लिए अनुकूलित किया गया है, जबकि मानक डिफ़ॉल्ट मॉडल है।
• हार्डवेयर अनुकूलन: यह संदर्भित करता है कि कौन सा हार्डवेयर मॉडल को सबसे अच्छा चलाता है। GPTQ का मतलब है कि मॉडल को समर्पित GPU पर चलने के लिए अनुकूलित किया गया है, जबकि GGML को CPU पर चलने के लिए अनुकूलित किया गया है।
• परिमाणीकरण: एक मॉडल में वजन और सक्रियण की सटीकता को दर्शाता है। अनुमान लगाने के लिए, q4 की सटीकता इष्टतम है।
• आकार: विशिष्ट मॉडल के आकार को संदर्भित करता है.

ध्यान दें कि कुछ मॉडलों को अलग ढंग से व्यवस्थित किया जा सकता है और उनमें एक ही प्रकार की जानकारी प्रदर्शित भी नहीं हो सकती है। हालाँकि, इस प्रकार की नामकरण परंपरा काफी आम है आलिंगन चेहरा मॉडल लाइब्रेरी, इसलिए यह अभी भी समझने लायक है।

इस उदाहरण में, मॉडल को एक समर्पित सीपीयू का उपयोग करके चैट अनुमान के लिए अनुकूलित 13 बिलियन मापदंडों पर प्रशिक्षित मध्यम आकार के लामा 2 मॉडल के रूप में पहचाना जा सकता है।

समर्पित जीपीयू पर चलने वालों के लिए, चुनें जीपीटीक्यू मॉडल, जबकि सीपीयू का उपयोग करने वालों के लिए, चुनें जीजीएमएल. यदि आप उस मॉडल के साथ चैट करना चाहते हैं जैसे आप चैटजीपीटी के साथ करते हैं, तो चुनें बात करना, लेकिन यदि आप मॉडल के साथ उसकी पूर्ण क्षमताओं के साथ प्रयोग करना चाहते हैं, तो इसका उपयोग करें मानक नमूना। जहां तक ​​मापदंडों का सवाल है, जान लें कि बड़े मॉडलों का उपयोग प्रदर्शन की कीमत पर बेहतर परिणाम प्रदान करेगा। मैं व्यक्तिगत रूप से आपको 7बी मॉडल से शुरुआत करने की सलाह दूंगा। जहाँ तक परिमाणीकरण का सवाल है, q4 का उपयोग करें, क्योंकि यह केवल अनुमान लगाने के लिए है।

डाउनलोड करना:जीजीएमएल (मुक्त)

डाउनलोड करना:जीपीटीक्यू (मुक्त)

अब जब आप जान गए हैं कि आपको लामा 2 की किस पुनरावृत्ति की आवश्यकता है, तो आगे बढ़ें और अपना इच्छित मॉडल डाउनलोड करें।

मेरे मामले में, चूँकि मैं इसे एक अल्ट्राबुक पर चला रहा हूँ, मैं चैट के लिए फाइन-ट्यून किए गए GGML मॉडल का उपयोग करूँगा, llama-2-7b-chat-ggmlv3.q4_K_S.bin.

डाउनलोड समाप्त होने के बाद, मॉडल को इसमें रखें पाठ-पीढ़ी-वेबुई-मुख्य > मॉडल.

अब जब आपने अपना मॉडल डाउनलोड कर लिया है और मॉडल फ़ोल्डर में रख दिया है, तो मॉडल लोडर को कॉन्फ़िगर करने का समय आ गया है।

चरण 4: टेक्स्ट-जेनरेशन-वेबयूआई कॉन्फ़िगर करें

अब, कॉन्फ़िगरेशन चरण शुरू करते हैं।

1. एक बार फिर, चलाकर टेक्स्ट-जेनरेशन-वेबयूआई खोलें प्रारंभ_(आपका ओएस) फ़ाइल (ऊपर पिछले चरण देखें)।
2. GUI के ऊपर स्थित टैब पर क्लिक करें नमूना। मॉडल ड्रॉपडाउन मेनू पर रीफ्रेश बटन पर क्लिक करें और अपना मॉडल चुनें।
3. अब इसके ड्रॉपडाउन मेनू पर क्लिक करें मॉडल लोडर और चुनें ऑटोजीपीटीक्यू GTPQ मॉडल का उपयोग करने वालों के लिए और ctransformers जीजीएमएल मॉडल का उपयोग करने वालों के लिए। अंत में, पर क्लिक करें भार अपना मॉडल लोड करने के लिए.
4. मॉडल का उपयोग करने के लिए, चैट टैब खोलें और मॉडल का परीक्षण शुरू करें।

बधाई हो, आपने Llama2 को अपने स्थानीय कंप्यूटर पर सफलतापूर्वक लोड कर लिया है!

अन्य एलएलएम आज़माएं

अब जब आप जानते हैं कि टेक्स्ट-जेनरेशन-वेबयूआई का उपयोग करके सीधे अपने कंप्यूटर पर लामा 2 कैसे चलाया जाता है, तो आपको लामा के अलावा अन्य एलएलएम चलाने में भी सक्षम होना चाहिए। बस मॉडलों की नामकरण परंपराओं को याद रखें और मॉडलों के केवल परिमाणित संस्करण (आमतौर पर q4 परिशुद्धता) को नियमित पीसी पर लोड किया जा सकता है। हगिंगफेस पर कई परिमाणित एलएलएम उपलब्ध हैं। यदि आप अन्य मॉडल तलाशना चाहते हैं, तो हगिंगफेस की मॉडल लाइब्रेरी में दब्लोक खोजें, और आपको कई मॉडल उपलब्ध मिलेंगे।