स्क्रेपरविकी के साथ क्लाउड में डेटा साइंस करना

विज्ञापन

यदि आपको मानसिक चॉप्स मिले हैं, तो प्रोग्रामिंग और स्टोरीटेलिंग के लिए एक फ्लेयर, और डिज़ाइन के लिए एक आँख, आप डेटा साइंस में आने से भी बदतर कर सकते हैं। यह प्रौद्योगिकी में नई बड़ी बात है; अत्यधिक ट्रेंडी और अत्यधिक भुगतान, डेटा वैज्ञानिकों द्वारा दुनिया की कुछ सबसे बड़ी कंपनियों द्वारा मांग की जा रही है।

ScraperWiki एक ऐसी कंपनी है जो लंबे समय से डेटा साइंस क्षेत्र से जुड़ी हुई है। पिछले कुछ वर्षों से, इस लिवरपूल आधारित स्टार्टअप ने कोडर्स के लिए एक प्लेटफ़ॉर्म की पेशकश की है जो ऐसे टूल लिखता है जो डेटा प्राप्त करते हैं, इसे साफ़ करते हैं और क्लाउड में इसका विश्लेषण करते हैं।

उद्यम में डेटा वैज्ञानिकों के लिए हाल ही में ताज़ा और बढ़ती मांग के साथ, यह स्क्रैपरविकी पर एक अच्छा नज़र रखने के लायक है।

पूर्ण प्रकटीकरण: मैं पिछली गर्मियों में स्क्रैपरविकी में एक प्रशिक्षु था।

स्क्रेपरविकी क्या करता है?

स्क्रैपरविकी खुद को डेटा प्राप्त करने, साफ करने और विश्लेषण करने के लिए एक जगह के रूप में बाजार में लाती है, और यह उनमें से प्रत्येक पर गिना जाता है। अपने सरलतम रूप में, यह आपको अनुमति देता है - उपयोगकर्ता - एक ऐसी जगह जहां आप कोड लिख सकते हैं जो स्रोत से डेटा पुनर्प्राप्त करता है, कन्वर्ट करने के लिए उपकरण यह एक प्रारूप में है जिसका विश्लेषण करना आसान है, और इसे बाद के दृश्य के लिए रखने के लिए भंडारण - जिसे आप स्क्रैपरविकी के साथ भी संभाल सकते हैं।

यह कई पूर्व-निर्मित टूल के साथ भी आता है जो दोहराव वाले कार्यों को स्वचालित करता है, जिसमें शामिल हैं पीडीएफ से डेटा प्राप्त करना, जो बड़ी मुश्किल से डिकोड होते हैं। इसके अतिरिक्त है ट्विटर खोज 5 कूल ट्विटर सर्च ट्रिक्स की निगरानी के लिए लोग आपके बारे में क्या कहते हैंयदि आप एक वेबसाइट के मालिक हैं या केवल एक फ्रीलांसर के रूप में ऑनलाइन पैसे कमाने की कोशिश कर रहे हैं, तो यह जानना हमेशा अच्छा होता है कि लोग इंटरनेट पर आपके बारे में क्या कह रहे हैं। लोग उद्धृत कर रहे हैं ... अधिक पढ़ें और स्क्रैपिंग उपयोगिताओं। इनका उपयोग करने के लिए आपको किसी सॉफ्टवेयर डेवलपमेंट अनुभव की आवश्यकता नहीं है

लागत

जैसा कि पहले उल्लेख किया गया है, स्क्रैपरविकी फ्रीमियम मूल्य निर्धारण मॉडल को गले लगाती है और एक सेवा प्रदान करती है जिसमें कई स्तरीय होते हैं। वे सिर्फ डेटा विज्ञान के साथ या सीमित जरूरतों के साथ शुरू कर रहे हैं, मुफ्त सेवा का उपयोग कर सकते हैं। यह आपको तीन डेटासेट देता है - जहां आप अपना डेटा और कोड स्टोर करते हैं।

कई स्क्रैपर्स लिखने या डेटा विश्लेषण के पहाड़ों को करने के इच्छुक लोग प्रीमियम खाते के लिए कुछ नकद निकाल सकते हैं। ये प्रति माह $ 9 से शुरू होते हैं और 10 डेटासेट प्रदान करते हैं। यदि वह अभी भी पर्याप्त नहीं है, तो आप हमेशा उनके उच्चतम स्तर पर उन्नयन कर सकते हैं जो 100 डेटासेट के साथ आता है और प्रति माह $ 29 खर्च होता है।

कोडिंग

प्रोग्रामर अक्सर काफी खास होते हैं जब यह आता है कि वे कैसे कोड करते हैं। कुछ संकलित भाषाओं पर स्क्रिप्टिंग भाषाएं पसंद करते हैं। कुछ एक एकीकृत विकास वातावरण (IDE) के ऊपर एक पाठ संपादक के अनुभव-रहित अनुभव को पसंद करते हैं। स्क्रैपरविकी पहचानता है, और उपयोगकर्ता को पसंद की एक बड़ी राशि देता है जब यह आता है कि आप अपना कोड कैसे लिखते हैं।

यदि आप इतने इच्छुक हैं, तो आप ब्राउज़र में अपना कोड लिख सकते हैं। जैसा कि आप किसी भी पेशेवर ग्रेड से उम्मीद करते हैं वेब आधारित क्लाउड में शीर्ष 3 ब्राउज़र-आधारित आईडीई का कोड अधिक पढ़ें विकास उपकरण, यह उन विशेषताओं के साथ आता है जो कोई भी प्रोग्रामर आवश्यक होगा, जैसे कि वाक्य रचना हाइलाइटिंग।

ऑफ़र पर कई भाषाएं हैं। इसमें शामिल है अजगर पायथन प्रोग्रामिंग सीखने के लिए 5 सर्वश्रेष्ठ वेबसाइटअजगर प्रोग्रामिंग सीखना चाहते हैं? यहाँ पायथन ऑनलाइन सीखने के सर्वोत्तम तरीके हैं, जिनमें से कई पूरी तरह से मुफ्त हैं। अधिक पढ़ें Google और NASA की पसंद द्वारा उपयोग की जाने वाली एक लोकप्रिय स्क्रिप्टिंग भाषा; माणिक रूबी प्रोग्रामिंग लैंग्वेज सीखने के लिए इंटरएक्टिव, फन, फ्री तरीकेरूबी एक अभिव्यंजक, बहुत उच्च-स्तरीय, स्क्रिप्टिंग भाषा है। यह वेब पर मुख्य रूप से रूबी वेब विकास ढांचे पर रूबी के हिस्से के रूप में उपयोग किया जाता है, लेकिन स्टैंडअलोन भी। यदि आप रूबी के बारे में उत्सुक हैं (नहीं ... अधिक पढ़ें , जो कई लोकप्रिय वेबसाइट जैसे कि लिविंग सोशल; और लोकप्रिय सांख्यिकीय विश्लेषण भाषा, आर।

इसके अलावा, आप SSH, Git और जिस भी टेक्स्ट एडिटर का उपयोग करके आनंद लेते हैं, कमांड लाइन से कोड भी लिख सकते हैं। हां, आपने उसे सही पढ़ा है। SSH SSH क्या है और कैसे यह FTP से अलग है [प्रौद्योगिकी समझाया] अधिक पढ़ें . आपके द्वारा उपयोग किए जाने वाले प्रत्येक बॉक्स का अपना लिनक्स खाता है, और आप इसे VPS या किसी अन्य शेल खाते से कनेक्ट करने में सक्षम हैं। सहित कई पाठ संपादक उपलब्ध हैं शक्ति शीर्ष 7 कारण विम पाठ संपादक को एक मौका देने के लिएसालों से, मैंने एक के बाद एक टेक्स्ट एडिटर आज़माए हैं। आप इसे नाम दें, मैंने इसे आजमाया। मैंने अपने प्राथमिक दिन-प्रतिदिन के संपादक के रूप में इन संपादकों में से प्रत्येक को दो महीने तक इस्तेमाल किया। किसी तरह, मैं ... अधिक पढ़ें जिसे प्लगइन्स के साथ और कॉन्फ़िगरेशन को संपादित करके बढ़ाया जा सकता है। विम द्वारा भयभीत लोग नैनो का उपयोग कर सकते हैं, जो एक हल्की कमांड लाइन टेक्स्ट एडिटर है।

स्थापित पुस्तकालयों को डेटा को पुनः प्राप्त करने और इसे संसाधित करने के लिए उपकरण लिखने के लिए पर्याप्त होना चाहिए। यदि आपको कुछ अधिक अस्पष्ट चाहिए, तो आप हमेशा कमांड लाइन से एक वर्चुअन बना सकते हैं। जैसा कि आप देख सकते हैं, डेवलपर्स के लिए बड़ी मात्रा में लचीलापन है।

डेटा विज़ुअलाइज़ेशन

इसलिए, आपको अपना डेटा मिल गया है। आपने इसे सामान्य कर दिया है। आपने इसे साफ कर दिया है आपने इसका विश्लेषण किया है अब कुछ विज़ुअलाइज़ेशन करने और दुनिया को यह दिखाने का समय है कि आपने क्या सीखा है।

स्क्रैपरविकी डेवलपर्स को एचटीएमएल, सीएसएस और जावास्क्रिप्ट के सभी परिचित ट्रिफेक्टा से निर्मित वेब पृष्ठों का उपयोग करके अपने डेटा को प्रदर्शित करने की अनुमति देता है। इसके अलावा, बूटस्ट्रैप घटक बॉक्स से बाहर समर्थित हैं।

ऐसे कई पूर्व-तैयार विज़ुअलाइज़ेशन उपलब्ध हैं, जिनमें एक मानचित्र पर आपके डेटा को प्लॉट करना और आपके निष्कर्षों के भीतर रुझान का पता लगाना शामिल है। इनका उपयोग करने के लिए, आपको यह सुनिश्चित करने की आवश्यकता है कि आपका डेटा फ़ाइल नाम ra scraperwiki.sqlite ’के साथ SQLite फ़ाइल के रूप में संग्रहीत है। फिर आप बस उस विज़ुअलाइज़ेशन को जोड़ते हैं जिसमें आप रुचि रखते हैं। सरल, सही?

निष्कर्ष

ScraperWiki उन डेवलपर्स को बहुत कुछ प्रदान करता है जो अपने विकास के माहौल के बिना कुछ डेटा विश्लेषण करना चाहते हैं, जबकि उपयोगकर्ताओं की सबसे अधिक मांग को पूरा करने के लिए लचीलापन होने के साथ-साथ। लेकिन आप क्या सोचते हैं? मुझे नीचे टिप्पणी में बताये।
चित्र का श्रेय देना: रॉकेट साइंस (डैन ब्राउन)