Περιεχόμενο
Ερ:
Πώς μπορώ να μάθω να χρησιμοποιήσω τον Hadoop για την ανάλυση μεγάλων δεδομένων;
ΕΝΑ:
Το λογισμικό Apache γνωστό ως Hadoop γίνεται μια πολύ δημοφιλής πηγή για την αντιμετώπιση μεγάλων συνόλων δεδομένων. Αυτός ο τύπος πλαισίου λογισμικού χειρισμού δεδομένων χτίστηκε για να βοηθήσει την συγκέντρωση δεδομένων με συγκεκριμένους τρόπους, με βάση σχέδια που μπορούν να καταστήσουν πιο αποτελεσματικά ορισμένα είδη έργων δεδομένων. Τούτου λεχθέντος, ο Hadoop είναι μόνο ένα από τα πολλά εργαλεία για το χειρισμό μεγάλων συνόλων δεδομένων.
Ένας από τους πρώτους και πιο βασικούς τρόπους για να μάθετε για την ανάλυση μεγάλων δεδομένων με τον Hadoop είναι να κατανοήσετε μερικές από τις βασικές συνιστώσες του Hadoop και τι κάνει. Αυτές περιλαμβάνουν μια "πλατφόρμα διαχείρισης πόρων" του Hadoop YARN που μπορεί να εφαρμοστεί σε ορισμένα είδη ρυθμίσεων δικτύου, καθώς και ένα σύνολο λειτουργιών Hadoop MapReduce που ισχύουν για μεγάλα σύνολα δεδομένων. Υπάρχει επίσης ένα κατανεμημένο σύστημα αρχείων Hadoop (HDFS), το οποίο βοηθά στην αποθήκευση δεδομένων σε κατανεμημένα συστήματα έτσι ώστε να μπορεί να αναπροσαρμόζεται γρήγορα ή αποτελεσματικά.
Πέρα από αυτό, όσοι θέλουν να γίνουν πιο εξοικειωμένοι με τον Hadoop μπορούν να εξετάσουν μεμονωμένους δημοσιευμένους πόρους για επαγγελματίες που εξηγούν το λογισμικό σε αναλογικό επίπεδο. Αυτό το παράδειγμα από τον Chris Stucchio σε ένα προσωπικό ιστολόγιο παρέχει ένα εξαιρετικό σύνολο σημείων για το Hadoop και την κλίμακα δεδομένων. Ένας από τους βασικούς τρόπους λήψης είναι ότι ο Hadoop μπορεί να χρησιμοποιείται πιο συχνά από ό, τι είναι απαραίτητο και μπορεί να μην είναι η καλύτερη λύση για ένα μεμονωμένο έργο. Η ανασκόπηση αυτών των πόρων θα βοηθήσει τους επαγγελματίες να εξοικειωθούν περισσότερο με τις λεπτομέρειες της χρήσης του Hadoop σε οποιοδήποτε δεδομένο σενάριο. Το Stucchio παρέχει επίσης μεταφορές για τη συσχέτιση των λειτουργιών του Hadoops με συγκεκριμένες φυσικές λειτουργίες. Εδώ, το παράδειγμα μετρά τον αριθμό των βιβλίων σε μια βιβλιοθήκη, ενώ μια λειτουργία Hadoop μπορεί να σπάσει αυτή τη βιβλιοθήκη σε τμήματα, παρέχοντας μεμονωμένες μετρήσεις που αναμειγνύονται σε ένα συνολικό αποτέλεσμα δεδομένων.
Ένας πιο εμπεριστατωμένος τρόπος με τον οποίο οι επαγγελματίες μπορούν να μάθουν περισσότερα για τον Hadoop και η εφαρμογή του στα μεγάλα δεδομένα γίνεται μέσω ειδικών πόρων και προγραμμάτων κατάρτισης. Για παράδειγμα, η ηλεκτρονική εταιρία μάθησης Cloudera, ένας σημαντικός πάροχος απομακρυσμένων εκπαιδευτικών συνεδριών, διαθέτει μια σειρά ενδιαφέρουσες επιλογές σχετικά με τη χρήση του Hadoop και παρόμοιους τύπους επεξεργασίας δεδομένων.