अपने रास्पबेरी पाई पर एक बड़ा भाषा मॉडल कैसे चलाएं

बड़े भाषा मॉडल, जिन्हें आम तौर पर (और गलत तरीके से) एआई के रूप में जाना जाता है, महीनों से प्रकाशन, कला और कानूनी दुनिया को ऊपर उठाने की धमकी दे रहे हैं। एक नकारात्मक पहलू यह है कि चैटजीपीटी जैसे एलएलएम का उपयोग करने का अर्थ है एक खाता बनाना और किसी और का कंप्यूटर काम करना। लेकिन आप कविता लिखने, सवालों के जवाब देने, और बहुत कुछ करने के लिए अपने Raspberry Pi पर एक प्रशिक्षित एलएलएम चला सकते हैं।

एक बड़ा भाषा मॉडल क्या है?

बड़े भाषा मॉडल शब्दों और वाक्यांशों के बीच संबंध और पैटर्न खोजने के लिए मशीन लर्निंग एल्गोरिदम का उपयोग करते हैं। बड़ी मात्रा में डेटा पर प्रशिक्षित, वे यह अनुमान लगाने में सक्षम हैं कि संकेत दिए जाने पर सांख्यिकीय रूप से कौन से शब्द आने की संभावना है।

यदि आप हजारों लोगों से पूछें कि वे आज कैसा महसूस कर रहे हैं, तो प्रतिक्रिया इस प्रकार होगी, "मैं ठीक हूं", "और भी बुरा हो सकता है", "ठीक है, लेकिन मेरे घुटने खेल रहे हैं"। बातचीत फिर एक अलग दिशा में मुड़ जाएगी। शायद वह व्यक्ति आपके स्वयं के स्वास्थ्य के बारे में पूछेगा, या "क्षमा करें, मुझे भागना है। मुझे काम के लिए देर हो रही है"।

इस डेटा और प्रारंभिक संकेत को देखते हुए, एक बड़ा भाषा मॉडल अपने स्वयं के विश्वसनीय और मूल उत्तर के साथ आने में सक्षम होना चाहिए, जो कि अनुक्रम में अगले आने वाले एक निश्चित शब्द की संभावना, यादृच्छिकता, पुनरावृत्ति दंड, और अन्य की पूर्व निर्धारित डिग्री के साथ संयुक्त पैरामीटर।

आज उपयोग में आने वाले बड़े भाषा मॉडल कुछ हज़ार लोगों के वोक्स पॉप पर प्रशिक्षित नहीं होते हैं। इसके बजाय, उन्हें सार्वजनिक रूप से उपलब्ध संग्रह, सोशल मीडिया प्लेटफॉर्म, वेब पेज, अभिलेखागार और कभी-कभी कस्टम डेटासेट से स्क्रैप किए गए डेटा की अकल्पनीय मात्रा दी जाती है।

एलएलएम को मानव शोधकर्ताओं द्वारा प्रशिक्षित किया जाता है जो कुछ पैटर्न को सुदृढ़ करेंगे और उन्हें एल्गोरिथम में वापस फीड करेंगे। जब आप एक बड़े भाषा मॉडल से पूछते हैं "कुत्ते का सबसे अच्छा प्रकार क्या है?", यह आपको यह बताने में सक्षम होगा कि जैक रसेल टेरियर कुत्ते का सबसे अच्छा प्रकार है, और आपको इसका कारण बताता है।

लेकिन इस बात की परवाह किए बिना कि जवाब कितना बुद्धिमान या आश्वस्त और मानवीय रूप से गूंगा है, न तो मॉडल और न ही मशीन उनके पास दिमाग होता है, और वे न तो प्रश्न को समझने में असमर्थ होते हैं और न ही उन शब्दों को जो इसे बनाते हैं जवाब। यह सिर्फ गणित और बहुत सारा डेटा है।

Raspberry Pi पर एक बड़ा भाषा मॉडल क्यों चलाया जाता है?

बड़े भाषा मॉडल हर जगह हैं, और प्रश्नों के उत्तर देने में सहायता के लिए बड़ी खोज कंपनियों द्वारा अपनाए जा रहे हैं।

हालांकि कॉर्पोरेट ब्लैक बॉक्स में एक प्राकृतिक भाषा के प्रश्न को फेंकना आकर्षक है, कभी-कभी आप प्रेरणा की तलाश करना चाहते हैं या किसी प्रश्न को पूछे बिना अधिक डेटा खिलाए बिना एक प्रश्न पूछना चाहते हैं। निगरानी पूंजीवाद.

टिंकरर्स के लिए एक प्रायोगिक बोर्ड के रूप में, रास्पबेरी पाई सिंगल-बोर्ड कंप्यूटर दार्शनिक रूप से, यदि शारीरिक रूप से नहीं, प्रयास के अनुकूल है।

फरवरी 2023 में, मेटा (कंपनी जिसे पहले फेसबुक के नाम से जाना जाता था) ने LLaMA की घोषणा की, जो 7 बिलियन से 65 बिलियन पैरामीटर के बीच एक नया LLM शेखी बघारने वाला भाषा मॉडल है। LLaMA को सार्वजनिक रूप से उपलब्ध डेटासेट का उपयोग करके प्रशिक्षित किया गया था,

LLaMA कोड खुला स्रोत है, जिसका अर्थ है कि कोई भी इसका उपयोग और अनुकूलन कर सकता है, और 'भार' या पैरामीटर के रूप में पोस्ट किए गए थे टोरेंट और चुंबक लिंक परियोजना के धागे में गिटहब पेज.

मार्च 2023 में, डेवलपर जॉर्जी गेरगानोव ने रिलीज़ किया लामा.सीपीपी, जो रास्पबेरी पाई सहित हार्डवेयर की एक विशाल श्रृंखला पर चल सकता है। कोड स्थानीय रूप से चलता है, और मेटा को कोई डेटा नहीं भेजा जाता है।

रास्पबेरी पाई पर llama.cpp इंस्टॉल करें

llama.cpp के लिए कोई प्रकाशित हार्डवेयर दिशानिर्देश नहीं हैं, लेकिन यह अत्यधिक प्रोसेसर, रैम और स्टोरेज के लिए भूखा है। सुनिश्चित करें कि आप इसे Raspberry Pi 4B या 400 पर उतनी ही मेमोरी के साथ चला रहे हैं, आभासी मेमोरी, और एसएसडी स्थान यथासंभव उपलब्ध है। एक एसडी कार्ड इसे काटने वाला नहीं है, और सभ्य शीतलन वाला मामला बिलकुल ज़रूरी है।

हम 7 बिलियन पैरामीटर मॉडल का उपयोग करने जा रहे हैं, इसलिए इसे देखें एलएलएमए गिटहब थ्रेड, और क्लाइंट जैसे qBittorrent या Aria का उपयोग करके 7B टोरेंट डाउनलोड करें।

llama.cpp रिपॉजिटरी को क्लोन करें और फिर इसका उपयोग करें सीडी नई निर्देशिका में जाने की आज्ञा:

git क्लोन https://github.com/ggerganov/llama.cpp
सीडीलामासीपीपी

यदि आपके पास कंपाइलर इंस्टॉल नहीं है, तो इसके साथ अभी इंस्टॉल करें:

सुडो उपयुक्त-पाना जी ++ स्थापित करें

अब इस कमांड के साथ प्रोजेक्ट को कंपाइल करें:

निर्माण

इस बात की संभावना है कि llama.cpp संकलन करने में विफल हो जाएगा, और आपको "vdotq_s32" से संबंधित त्रुटि संदेशों का एक गुच्छा दिखाई देगा। यदि ऐसा होता है, तो आपको एक कमिट को वापस करना होगा। सबसे पहले, अपना स्थानीय गिट उपयोगकर्ता सेट करें:

git कॉन्फ़िगरेशन user.name "डेविड"

अब आप पिछली प्रतिबद्धता को वापस कर सकते हैं:

गिट रिवर्ट 84d9015

नैनो पाठ संपादक में एक git प्रतिबद्ध संदेश खुलेगा। प्रेस सीटीआरएल + ओ बचाने के लिए, फिर सीटीआरएल + एक्स नैनो से बाहर निकलने के लिए जब आप दर्ज करते हैं तो llama.cpp को अब त्रुटियों के बिना संकलित करना चाहिए:

निर्माण

आपको उन भारित मॉडलों के लिए एक निर्देशिका बनाने की आवश्यकता होगी जिनका आप उपयोग करना चाहते हैं:

mkdir मॉडल

अब भारित मॉडल को से स्थानांतरित करें लामा निर्देशिका:

एमवी ~/Downloads/लामा/* ~/llama.cpp/models/

सुनिश्चित करें कि आपने अपने Pi पर Python 3 स्थापित किया है, और llama.cpp निर्भरताओं को स्थापित करें:

python3 -m पिप स्थापित करना मशाल सुन्न वाक्य

NumPy संस्करण समस्याएँ पैदा कर सकता है। इसे अपग्रेड करें:

रंज स्थापित करना Numpy --उन्नत करना

अब 7B मॉडल को ggml FP16 फॉर्मेट में कन्वर्ट करें:

python3 Convert-pth-to-ggml.py मॉडल/7B/ 1

पिछला चरण बेहद मेमोरी इंटेंसिव है और, हमारे हिसाब से, कम से कम 16 जीबी रैम का उपयोग करता है। यह सुपर स्लो भी है और असफलता का खतरा है।

डेस्कटॉप पीसी पर समानांतर रूप से इन निर्देशों का पालन करने और फिर फाइल कॉपी करने से आपको बेहतर परिणाम मिलेंगे /models/7B/ggml-model-q4_0.bin आपके Raspberry Pi पर उसी स्थान पर।

मॉडल को 4 बिट्स में परिमाणित करें:

./quantize.sh 7B

इतना ही। LLaMA LLM अब आपके Raspberry Pi पर स्थापित है, और उपयोग के लिए तैयार है!

रास्पबेरी पाई पर llama.cpp का उपयोग करना

llama.cpp के साथ आरंभ करने के लिए, सुनिश्चित करें कि आप प्रोजेक्ट डायरेक्टरी में हैं और निम्नलिखित कमांड दर्ज करें:

./मुख्य -एम ./मॉडल/7बी/जीजीएमएल-मॉडल-q4_0.बिन-टी 4 -एन 128 -पी "लिनक्स कर्नेल क्या है?"

-एम विकल्प यह है कि आप llama.cpp को उस मॉडल की ओर निर्देशित करें जिसका आप उपयोग करना चाहते हैं; -टी उन धागों की संख्या इंगित करता है जिनका आप उपयोग करना चाहते हैं; -एन भविष्यवाणी करने के लिए टोकन की संख्या है; -पी आपका संकेत है। आप इनमें से किसी भी और सभी वेरिएबल को कस्टमाइज़ कर सकते हैं।

एक लंबे इंतजार के लिए रुकें, क्योंकि रास्पबेरी पाई जो करता है उसमें उत्कृष्ट है, यह इस तरह की सीपीयू गतिविधि के लिए डिज़ाइन नहीं किया गया था। हमारे उदाहरण संकेत में, निम्नलिखित प्रतिक्रिया देने से पहले, लामा ने टेक्स्ट को आठ अलग-अलग टोकन में तोड़ दिया:

लिनक्स कर्नेल, संक्षेप में, हमेशा एक ऑपरेटिंग सिस्टम के रूप में संदर्भित किया गया है। हालाँकि यह वास्तव में एक नहीं माना जाता है क्योंकि सभी व्यावहारिक उद्देश्यों के लिए इसके अधिकांश कार्य हैं एपीआई और उपयोगिताओं के माध्यम से उजागर किया गया है जिसका उपयोग किसी अन्य ओएस द्वारा किया जा सकता है जो चाहता है (या जरूरत है) उन तक पहुंचें एपीआई। जहां तक ​​​​लिनक्स कर्नेल का संबंध है, वास्तविक कर्नेल के साथ बहुत कुछ नहीं करना है। यह अभी शुरू होगा, अपने बूटलोडर/पसंद के initrd से कॉन्फ़िगरेशन पैरामीटर प्राप्त करें, फिर इसे कुछ हार्डवेयर पर चालू करें और आप इस बिंदु पर जो भी व्यवसाय करते हैं, उसके बारे में जाने

जबकि यह एक काफी सुसंगत उत्तर था, एक दूसरे प्रयास के परिणामस्वरूप मोटे तौर पर कटा हुआ शब्द सलाद जैसा कुछ हुआ:

आप में से अधिकांश ने शायद इसके बारे में सुना होगा लेकिन वास्तव में नहीं जानते कि वे किस बारे में बात कर रहे हैं। हम इस पर विस्तार से चर्चा करेंगे क्योंकि उन्हें पूरी तरह से समझने से हमें अपने कंप्यूटरों का अधिक उपयोग करने में मदद मिलती है कुशलतापूर्वक और घर, कार्यालयों में अपने पीसी के लिए नया हार्डवेयर या सॉफ़्टवेयर खरीदते समय बेहतर निर्णय भी लें वगैरह.. लिनक्स कर्नेल अधिकांश ऑपरेटिंग सिस्टम की रीढ़ है जो एक कंप्यूटर सिस्टम जैसे एंड्रॉइड पर चलता है जो इस कर्नेल के हिस्से में आधारित एक ओपन सोर्स ऑपरेटिंग सिस्टम है। लेकिन linux kernal कहने से उनका वास्तव में क्या मतलब है?

लिनस टोरवाल्ड्स ने अपने विचार लिखे हैं (ज्ञान)

इस बिंदु पर यह ध्यान देने योग्य है कि इनमें से प्रत्येक प्रतिक्रिया को तैयार करने में लगभग दो घंटे लगे, और सभी चार CPU कोर 100% पर काम कर रहे थे। हालाँकि, परियोजना पर काम तेजी से आगे बढ़ रहा है, और आप आगामी एआरएम अनुकूलन से समय कम करने की उम्मीद कर सकते हैं।

आप अपने एलएलएम के साथ एक बार में एक संकेत देने के बजाय संपूर्ण वार्तालापों का अनुकरण भी कर सकते हैं। जोड़ना -मैं विकल्प लामा को इंटरएक्टिव मोड में शुरू करेगा, जबकि --इंटरएक्टिव-शुरू शुरुआत में आपसे इनपुट मांगेगा। उपलब्ध विकल्पों की पूरी सूची के लिए, दौड़ें:

मुख्य -एच

ध्यान रखें कि लामा के पास प्रतिबंधात्मक नियम नहीं हैं। यह कभी-कभी सेक्सिस्ट, नस्लवादी, होमोफोबिक और बहुत गलत होगा।

एक बड़ा भाषा मॉडल वास्तविक ज्ञान का कोई विकल्प नहीं है

Raspberry Pi पर मेटा का LLaMA चलाना बहुत अच्छा है, और आप तकनीकी प्रश्नों, जीवन सलाह, दोस्ती, या ज्ञान के वास्तविक स्रोत के रूप में अपने आभासी गुरु की ओर मुड़ने के लिए ललचा सकते हैं। मूर्ख मत बनो। बड़े भाषा मॉडल कुछ नहीं जानते, कुछ महसूस नहीं करते और कुछ नहीं समझते। अगर आपको किसी चीज़ के लिए मदद की ज़रूरत है, तो बेहतर है कि आप किसी इंसान से बात करें या किसी इंसान की लिखी हुई चीज़ को पढ़ें।

यदि आपके पास समय कम है, तो आप इसे अपने लिनक्स टर्मिनल में गति से पढ़ सकते हैं!