अपने Linux मशीन पर स्थानीय रूप से एक बड़ा भाषा मॉडल चलाकर एक व्यक्तिगत AI चैटबॉट बनाएं।

बड़े भाषा मॉडल में आपके जीने और काम करने के तरीके में क्रांति लाने की क्षमता होती है, और बातचीत कर सकते हैं और सटीकता की एक चर डिग्री के साथ सवालों के जवाब दे सकते हैं।

एक का उपयोग करने के लिए, आपको आमतौर पर एलएलएम प्रदाता के साथ एक खाते की आवश्यकता होगी, और एक वेबसाइट या समर्पित ऐप के माध्यम से प्रवेश करना होगा। लेकिन क्या आप जानते हैं कि आप अपने बड़े भाषा मॉडल को Linux पर पूरी तरह ऑफ़लाइन चला सकते हैं?

लिनक्स पर एक बड़ा भाषा मॉडल क्यों चलाया जाता है?

बड़े भाषा मॉडल (एलएलएम) इन दिनों हर जगह हैं और प्राकृतिक भाषा को संसाधित कर सकते हैं और उचित प्रतिक्रिया दे सकते हैं जो आपको यह सोचने में मूर्ख बना सकते हैं कि मानव ने उत्तर दिया है। Microsoft बिंग का एक नया AI-संचालित संस्करण जारी कर रहा है, जबकि अल्फाबेट का बार्ड अब गूगल खोजों का एक अभिन्न अंग है.

सर्च इंजन से दूर, आप सवालों के जवाब देने, कविता लिखने, या यहां तक ​​कि अपना होमवर्क करने के लिए तथाकथित "एआई चैटबॉट्स" का उपयोग कर सकते हैं।

लेकिन एलएलएम को ऑनलाइन एक्सेस करके, आप तीसरे पक्ष के प्रदाता की साख पर निर्भर होते हैं—जिसे किसी भी समय वापस लिया जा सकता है।

instagram viewer

आप उपयोग प्रतिबंधों के अधीन भी हैं। उदाहरण के लिए, OpenAI से नाजी जर्मनी में 6,000-शब्द का कामुक उपन्यास लिखने के लिए कहें, और आपको "मैं माफी माँगता हूँ, लेकिन मैं आपके लिए वह कहानी उत्पन्न नहीं कर पाऊँगा" की तर्ज पर प्रतिक्रिया मिलेगी।

आप ऑनलाइन एलएलएम में जो कुछ भी डालते हैं, उसका उपयोग उन्हें आगे प्रशिक्षित करने के लिए किया जाता है, और जिस डेटा को आप गोपनीय रखना चाहते हैं, वह भविष्य में किसी और के प्रश्न के उत्तर के रूप में सामने आ सकता है।

आप सेवा की कमी के भी अधीन हैं क्योंकि सिस्टम उपयोगकर्ताओं से भर गया है, और सदस्यता लेने के लिए परेशान है, इसलिए मांग अधिक होने पर आप प्लेटफॉर्म तक पहुंच सकते हैं।

दलाई मेटा के एलएलएमए एलएलएम और स्टैनफोर्ड के अल्पाका का एक स्वतंत्र और मुक्त-स्रोत कार्यान्वयन है। यह मामूली हार्डवेयर पर आराम से चलेगा और एक आसान वेब इंटरफ़ेस और शीघ्र टेम्पलेट्स की एक श्रृंखला प्रदान करता है—ताकि आप कुछ भी पूछ सकें आप चाहते हैं, बिना किसी डर के कि कोई व्यवस्थापक आपका खाता बंद करने जा रहा है, एलएलएम जवाब देने से इंकार कर देगा, या आपका कनेक्शन बूँद।

जब आप लिनक्स पर स्थानीय रूप से एलएलएम स्थापित करते हैं, तो यह आपका होता है, और आप इसे जैसे चाहें उपयोग कर सकते हैं।

लिनक्स पर दलाई कैसे स्थापित करें

लिनक्स पर दलाई को स्थापित करने का सबसे आसान तरीका डॉकर और डॉकर कंपोज़ का उपयोग करना है। यदि आपके पास पहले से ये नहीं हैं, तो कैसे करें पर हमारे गाइड से परामर्श करें डॉकर और डॉकर कंपोज़ स्थापित करें.

इसके साथ ही, आप दलाई को स्थापित करना शुरू करने के लिए तैयार हैं। दलाई GitHub रिपॉजिटरी को क्लोन करें और उसमें जाने के लिए cd कमांड का उपयोग करें:

गिट क्लोन https://github.com/cocktailpeanut/dalai.git && सीडी दलाई

दलाई को वेब इंटरफ़ेस के साथ चलने के लिए, सबसे पहले, डॉकर कंपोज़ फ़ाइल बनाएँ:

डॉकर-कंपोज़ बिल्ड

डॉकर कंपोज़ Python 3.11, Node Version Manager (NVM), और Node.js को डाउनलोड और इंस्टॉल करेगा।

नौ के सातवें चरण में, डॉकर कम्पोज़ डाउनलोड दलाई के रूप में बिल्ड फ्रीज होता हुआ दिखाई देगा। चिंता न करें: अपने आप को आश्वस्त करने के लिए अपने बैंडविड्थ उपयोग की जांच करें कि कुछ चल रहा है, और अपने टर्मिनल में आभासी जीवों के विकास का अनुकरण करें जब तुम प्रतीक्षा करें।

आखिरकार, आपको कमांड प्रॉम्प्ट पर लौटा दिया जाएगा।

दलाई और LLaMa/Alpaca मॉडल को चलाने के लिए बहुत अधिक मेमोरी की आवश्यकता होती है। जबकि कोई आधिकारिक विनिर्देश नहीं है, 7B मॉडल के लिए 4GB, 13B मॉडल के लिए 8GB, 30B मॉडल के लिए 16GB और 65B मॉडल के लिए 32GB एक अच्छा मोटा गाइड है।

अल्पाका मॉडल अपेक्षाकृत छोटे हैं, जिसमें 13B मॉडल मामूली 7.6GB तक पहुंचता है, लेकिन LLaMA का वजन बहुत बड़ा हो सकता है: समतुल्य 13B डाउनलोड 60.21GB पर आता है, और 65B मॉडल आपकी हार्ड पर एक महाकाव्य आधा-टेराबाइट लेगा डिस्क।

तय करें कि कौन सा मॉडल आपके संसाधनों के लिए सबसे उपयुक्त है, और इसे स्थापित करने के लिए निम्न आदेश का उपयोग करें:

डॉकर-कंपोज़ रन दलाई एनपीएक्स दलाई अल्पाका 13B स्थापित करें

या:

डॉकर-कंपोज़ रन दलाई एनपीएक्स दलाई लामा इंस्टाल 13बी

इस बात की संभावना है कि दलाई के माध्यम से डाउनलोड किए गए मॉडल दूषित हो सकते हैं। अगर ऐसा है, तो उन्हें यहां से पकड़ें गले लगाने वाला चेहरा बजाय।

कमांड प्रॉम्प्ट पर वापस आने के बाद, डॉकर कंपोज़ को अलग मोड में लाएँ:

डॉकर-कंपोज़ अप -डी

जांचें कि कंटेनर ठीक से चल रहा है या नहीं:

डॉकर-कंपोज़ पीएस

यदि सब कुछ उसी तरह काम कर रहा है जैसा उसे करना चाहिए, तो एक वेब ब्राउज़र खोलें और एंटर करें लोकलहोस्ट: 3000 एड्रेस बार में।

लिनक्स पर अपने खुद के बड़े भाषा मॉडल का आनंद लें

जब वेब इंटरफ़ेस खुलता है, तो आपको एक टेक्स्ट बॉक्स दिखाई देगा, जिसमें आप अपने संकेत लिख सकते हैं।

प्रभावी संकेतों को लिखना मुश्किल है, और दलाई डेवलपर्स ने कई प्रकार के टेम्पलेट प्रदान किए हैं जो आपको दलाई से उपयोगी प्रतिक्रिया प्राप्त करने में मदद करेंगे।

ये एआई-संवाद, चैटबॉट, गलती करना, अनुदेश, पुनर्लेखन, अनुवाद, और कलरव भावना.

जैसा कि आप उम्मीद करेंगे, एआई-संवाद और चैटबॉट टेम्प्लेट इस तरह से संरचित होते हैं जो आपको एलएलएम के साथ बातचीत करने की अनुमति देता है। दोनों के बीच मुख्य अंतर यह है कि चैटबॉट को "अत्यधिक बुद्धिमान" माना जाता है, जबकि एआई-डायलॉग "सहायक, दयालु, आज्ञाकारी, ईमानदार और अपनी सीमाएं जानता है"।

बेशक, यह आपका "एआई" है, और यदि यह आपको प्रसन्न करता है, तो आप प्रॉम्प्ट को बदल सकते हैं ताकि चैटबॉट गूंगा हो, और एआई-डायलॉग विशेषताएँ "सैडिस्टिक" और "अनहेल्दी" हों। यह आप पर निर्भर करता है।

हमने परीक्षण किया अनुवाद बीबीसी समाचार के शुरुआती पैराग्राफ की नकल करके और दलाई से इसे स्पेनिश में अनुवाद करने के लिए कहें। अनुवाद अच्छा था, और जब हमने इसे वापस अंग्रेजी में बदलने के लिए Google अनुवाद के माध्यम से चलाया, तो पाया कि यह काफी पठनीय था और मूल टुकड़े के तथ्यों और भावनाओं को प्रतिध्वनित करता था।

इसी तरह, द पुनर्लेखन टेम्प्लेट ने एक नए लेख की शुरुआत में पाठ को पूरी तरह से बदल दिया।

गलती करना और अनुदेश प्रश्न पूछने या दलाई को सीधे निर्देश देने में आपकी मदद करने के लिए संकेतों को संरचित किया जाता है।

आपके द्वारा उपयोग किए जा रहे मॉडल के आधार पर प्रतिक्रिया में दलाई की सटीकता बहुत भिन्न होगी। एक 30B मॉडल 7B मॉडल की तुलना में बहुत अधिक उपयोगी होगा। लेकिन फिर भी, आपको याद दिलाया जाता है कि एलएलएम एक वाक्य में अगले शब्द का अनुमान लगाने के लिए केवल परिष्कृत प्रणाली हैं।

न तो 7बी और न ही 13बी अल्पाका मॉडल लघुकथा का सटीक 200-शब्द सारांश प्रदान करने में सक्षम थे, "कैट इन द द बारिश" अर्नेस्ट हेमिंग्वे द्वारा, और दोनों ने कहानी के बारे में पूरी तरह से आश्वस्त करने वाली कथानक रेखाएँ और विवरण तैयार किए निहित।

और जबकि "सहायक, दयालु, आज्ञाकारी, ईमानदार" एआई-डायलॉग जो "अपनी सीमाएं जानता है", और "अत्यधिक बुद्धिमान" चैटबॉट विवादास्पद संकेत, आप दलाई को एक सीधा निर्देश या डिफ़ॉल्ट अनुरोध दे सकते हैं, और यह आपको जो कुछ भी पसंद आएगा - जैसा आप चाहें लिखेंगे यह।

आपकी लिनक्स मशीन पर एक बड़ा भाषा मॉडल आपका है

अपने स्वयं के लिनक्स बॉक्स पर एक बड़ा भाषा मॉडल चलाकर, आप सेवा की निगरानी या वापसी के अधीन नहीं हैं। कॉर्पोरेट सामग्री नीति का उल्लंघन करने के परिणामों के डर के बिना आप इसे वैसे ही उपयोग कर सकते हैं जैसे आप फिट देखते हैं।

यदि आपके कंप्यूटिंग संसाधन कम हैं, तो आप स्थानीय स्तर पर रास्पबेरी पाई पर एलएलएम भी चला सकते हैं।