Scenario 1: आज किसी भी world bank में हर महीने लेन देन करने वाले 100 milion से अधिक customer हे
Scenario 2: आज लगभग हर एक E - commerce website और social - networking website customer behaviour के data को track करती हे
ये वह जगह हे Big data मदद करता हे , आज हम इस artical में hadoop का परिचय करवायेंगे . hadoop एक वह तकनीक हे जिसके माध्यम से हम बड़े data पर parallel processing करने की capability प्रदान करवाता हे |
Hadoop gives us capability to deal with the complexities of high volume, velocity and variety of data
hadoop के अलावा कई अन्य platform हे जिसके माध्यम से हम big data पर processing कर सकते हे जैसे - NoSQL (MongoDB being the most popular),
hadoop एक open source project प्रणाली हे जो कि बड़े डाटा पर काम करने के लिए Framework provide करवाती हे |
Following are the challenges I can think of in dealing with big data :-
वह कारण किसके वजह के hadoop का अस्तित्व आया -
1 . high speed or capability वाले server की अधिक लागत होना
इन कमियों के कारण hadoop का विकास हुआ -
1 . hadoop आमतोर पर commodity hardware पर कार्य करता हे और डेटा की विश्वसनीयता सुनिश्चित करने के लिए हे data की Duplicate copy बनाता हे हम hadoop का प्रयोग करके 4500 machines को एक साथ जोड़ सकते हे |
A Hadoop Developer is responsible for the actual coding or programming of Hadoop applications. This role is similar to that of a Software Developer.
· उच्च प्रदर्शन, विश्वसनीय और रखरखाव कोड लिखना· डेटाबेस structures, principles और practice का अच्छा ज्ञान होना चाहिए।
· Flume, Sqoop जैसे data loading टूल के साथ करना ·
Scenario 2: आज लगभग हर एक E - commerce website और social - networking website customer behaviour के data को track करती हे
ये वह जगह हे Big data मदद करता हे , आज हम इस artical में hadoop का परिचय करवायेंगे . hadoop एक वह तकनीक हे जिसके माध्यम से हम बड़े data पर parallel processing करने की capability प्रदान करवाता हे |
Hadoop gives us capability to deal with the complexities of high volume, velocity and variety of data
hadoop के अलावा कई अन्य platform हे जिसके माध्यम से हम big data पर processing कर सकते हे जैसे - NoSQL (MongoDB being the most popular),
Introduction to Hadoop -
hadoop एक open source project प्रणाली हे जो कि बड़े डाटा पर काम करने के लिए Framework provide करवाती हे |
Following are the challenges I can think of in dealing with big data :-
वह कारण किसके वजह के hadoop का अस्तित्व आया -
1 . high speed or capability वाले server की अधिक लागत होना
- बड़े data पर काम करने में अधिक समय लगना
- बड़े डाटा पर query का कमजोर होना
- सबसे महत्वपूर्ण कमी ये थी की यदि सबसे last stage में कोईकमी हो ती हे तो उसे find कारण मुश्किल था
इन कमियों के कारण hadoop का विकास हुआ -
1 . hadoop आमतोर पर commodity hardware पर कार्य करता हे और डेटा की विश्वसनीयता सुनिश्चित करने के लिए हे data की Duplicate copy बनाता हे हम hadoop का प्रयोग करके 4500 machines को एक साथ जोड़ सकते हे |
- hadoop प्रोसेस को टुकडो में बाटता हे तथा उनका parallel execution करता हे , hadoop का उपयोग करके अधिकतम लगभग 25 Petabyte के data पर processing की जा सकती हे |
- hadoop प्रत्येक लेवल पर data-set का बैकअप बनाता हेयह व्यक्तिगत विफलता के मामले में process loss और data-loss से बचने के लिए डुप्लिकेट डेटासेट पर query execute करता है। ये feature hadoop को सबसे महत्वपूर्ण बनाता हे
- hadoop में किसी भी programming language में कोडिंग करना सरल हे parallel processing को सक्षम करने के लिए आपको केवल एक क्वेरी बनाने के बारे में सोचने का तरीका बदलने की जरूरत है।
Required Skills for Hadoop Developers
A Hadoop Developer is responsible for the actual coding or programming of Hadoop applications. This role is similar to that of a Software Developer.
- Knowledge in Hadoop – Kinda Obvious!!
- back-end प्रोग्रामिंग भाषा का ज्ञान होना चाहिए जैसे - java , JS, Node.js and OOAD
· उच्च प्रदर्शन, विश्वसनीय और रखरखाव कोड लिखना· डेटाबेस structures, principles और practice का अच्छा ज्ञान होना चाहिए।
- Pig Latin scripts. लिखने की क्षमता
· Flume, Sqoop जैसे data loading टूल के साथ करना ·
Comments
Post a Comment