Περιεχόμενο
- Τι είναι η αρχιτεκτονική δεδομένων επόμενης γενιάς;
- Προσδοκίες από τον Hadoop στο con της αρχιτεκτονικής επόμενης γενιάς
- Τι αξίες μπορεί να προσθέσει η Hadoop στην αρχιτεκτονική δεδομένων επόμενης γενιάς;
- Βελτιωμένη απόδοση ως αρχιτεκτονική δεδομένων επιχειρήσεων
- Διαφορά μεταξύ του Hadoop και άλλων τεχνολογιών
- συμπέρασμα
Πηγή: Romeo1232 / Dreamstime.com
Πάρε μακριά:
Hadoop θα είναι βασικός παίκτης στην αρχιτεκτονική δεδομένων επόμενης γενιάς λόγω της ικανότητάς του να χειρίζεται τεράστια ποσά δεδομένων.
Η χρησιμότητα του Hadoop αρχίζει να υπερβαίνει τα μεγάλα δεδομένα επεξεργασίας και ανάλυσης, καθώς ο κλάδος έρχεται να απαιτήσει περισσότερα από αυτό. Η Hadoop τροφοδοτεί σταθερά τις ποικίλες απαιτήσεις που σχετίζονται με την αρχιτεκτονική δεδομένων των επιχειρήσεων, διατηρώντας παράλληλα τα αρχικά της πλεονεκτήματα. Ο κατάλογος των όσων μπορεί να κάνει και κάνει αυτή τη στιγμή ο Hadoop είναι αρκετά μεγάλος. Ο Hadoop είναι πλέον σε θέση να επεξεργαστεί τεράστιους όγκους συναλλακτικών εργασιών, έργο που αναμενόταν παλαιότερα από τις παραδοσιακές τεχνολογίες. Πηγαίνοντας προς τα εμπρός, υπάρχουν πολλές δυνατότητες για τον Hadoop στο μέλλον. Για παράδειγμα, τα συστήματα συναλλαγών που βασίζονται σε SQL μπορούν να χρησιμοποιήσουν έναν μηχανισμό SQL Hadoop και ο Hadoop θα προσθέσει επίσης πολλές δυνατότητες RDBMS. Μπορείτε να πείτε ότι ο Hadoop γίνεται ένα υβρίδιο επεξεργασίας δεδομένων και αναλυτικών δυνατοτήτων με δυνατότητες αρχιτεκτονικής επιχείρησης.
Τι είναι η αρχιτεκτονική δεδομένων επόμενης γενιάς;
Για να το θέσουμε απλά, η αρχιτεκτονική δεδομένων επόμενης γενιάς είναι μια εξελιγμένη μορφή αρχιτεκτονικής δεδομένων. Όλα, συμπεριλαμβανομένων των μοντέλων δεδομένων, των πολιτικών δεδομένων, των κανόνων και των προτύπων που διέπουν τον τρόπο συλλογής, αποθήκευσης, διαρρύθμισης, ανάλυσης ή επεξεργασίας, ενσωμάτωσης, χρήσης και διανομής δεδομένων, έχουν εξελιχθεί με την αρχιτεκτονική δεδομένων επόμενης γενιάς.
Η κύρια διαφορά μεταξύ της αρχιτεκτονικής των δεδομένων και της αρχιτεκτονικής δεδομένων επόμενης γενιάς είναι η ικανότητα της τελευταίας να συλλέγει, να αποθηκεύει και να επεξεργάζεται τεράστιους όγκους δεδομένων, επίσης γνωστών ως μεγάλα δεδομένα, σε πραγματικό χρόνο. Η αρχιτεκτονική εκτελεί όλα αυτά τα περίπλοκα καθήκοντα χωρίς να θέτει σε κίνδυνο την ιδιωτικότητα, την ασφάλεια και τα πρότυπα διακυβέρνησης δεδομένων.
Η αρχιτεκτονική δεδομένων επόμενης γενιάς αντιμετωπίζει πολλές προκλήσεις. Δεν είναι εύκολο να χειριστείτε τον όγκο, την ταχύτητα και την ποικιλία μεγάλων δεδομένων. Προσθέστε τις απαιτήσεις βελτιστοποίησης του φόρτου εργασίας του συστήματος, βελτιώνοντας τις επιδόσεις, την ταχύτητα και την ακρίβεια και τη μείωση του κόστους. Περιττό να πούμε ότι η προηγούμενη αρχιτεκτονική δεδομένων δεν έπρεπε να διαχειριστεί τέτοιες απαιτήσεις.
Έτσι, οι CIO και οι αρχιτέκτονες πληροφοριών θέλουν να βρουν μια λύση που τους βοηθά να επιτύχουν τους στόχους τους. Ο επιχειρησιακός Hadoop έχει επικεντρωθεί εδώ και αρκετό καιρό σε αυτό το con.The. Οι επόμενες ενότητες θα συζητήσουν πώς η επιχειρησιακή Hadoop μπορεί να λύσει προβλήματα.
Προσδοκίες από τον Hadoop στο con της αρχιτεκτονικής επόμενης γενιάς
Οι εταιρείες υφίστανται ολοένα και περισσότερες πιέσεις για την επίτευξη καλύτερων αποτελεσμάτων και οι επιπτώσεις τους υποχωρούν στις προσδοκίες που έχουν τεθεί στις τεχνολογίες. Έτσι, ο Hadoop δεν αναμένεται πλέον να επεξεργάζεται μόνο δεδομένα. Οι CIO και οι ΚΟΤ θέλουν περισσότερα από τον Hadoop. Ακολουθεί μια λίστα από προσδοκίες από τον Hadoop. Στην πραγματικότητα, ο Hadoop έχει ήδη παραδώσει ορισμένες από αυτές τις προσδοκίες.
Hadoop αναμένεται να λειτουργήσει με συστήματα συναλλαγών που βασίζονται σε SQL και έχουν δημιουργήσει, διαβάσει, ενημερώσουν και διαγράψουν τις δυνατότητες. Τα συστήματα συναλλαγών θα αξιοποιούν τον κινητήρα SQL. Τα συστήματα θα έχουν επίσης πλήρη συμμόρφωση με το Portable Operating System Interface (POSIX) και την ικανότητα επεξεργασίας μεγάλων όγκων συναλλαγών.
Το Hadoop αναμένεται να υποστηρίξει χαρακτηριστικά όπως εφεδρικό αντίγραφο, ανοχή σφάλματος, ανάκτηση και αποκατάσταση καταστροφών. Προκειμένου ο Hadoop να εξελιχθεί σε ένα σύστημα με δυνατότητες RDBMS, πρέπει να είναι συμβατό με τα υπάρχοντα εργαλεία πληροφορικής.
Ο Hadoop εργάζεται ήδη για την εκπλήρωση των προσδοκιών, όπως φαίνεται από κάποιες εξελίξεις. Η Hadoop μπορεί να παρέχει ανάλυση σε πραγματικό χρόνο και γρήγορες απαντήσεις με βάση την υποστήριξη διαχείρισης πόρων που παρέχεται από το YARN. Το YARN είναι ένα μεγάλης κλίμακας και κατανεμημένο λειτουργικό σύστημα για μεγάλες εφαρμογές δεδομένων εκτός από το γεγονός ότι είναι διαχειριστής πόρων. Άλλες εξελίξεις, όπως η Apache Storm, οι οποίες διανέμονται σε αρχιτεκτονικές σε μνήμη όπως το Apache Spark, το Apache Hive, το Drill και το MapR-FS (μια αντικατάσταση HDFS υψηλής απόδοσης) είναι γνωστό ότι εργάζονται για να προσφέρουν διάφορες δυνατότητες πλήρους βάσης δεδομένων, όπως η δημιουργία αντιγράφων ασφαλείας, η ανάκαμψη μετά από καταστροφή, η ανοχή σφάλματος κλπ. (Για περισσότερες πληροφορίες σχετικά με το YARN, ανατρέξτε στα Πλεονεκτήματα του πλαισίου Hadoop 2.0 (YARN);)
Τι αξίες μπορεί να προσθέσει η Hadoop στην αρχιτεκτονική δεδομένων επόμενης γενιάς;
Οι λειτουργικές τιμές Hadoop μπορούν να προστεθούν στην αρχιτεκτονική δεδομένων επόμενης γενιάς που μπορεί να αντιμετωπιστεί από δύο όψεις: μία, αν ικανοποιεί τις προσδοκίες που περιγράφηκαν παραπάνω, και δύο, αν κάνει κάτι επιπλέον. Δίδονται παρακάτω οι σημαντικές αξίες που μπορεί να φέρει η επιχειρησιακή Hadoop.
Ο Hadoop είναι πλέον σε θέση να παρέχει μεγαλύτερη δυνατότητα κλιμάκωσης και διαχειρισιμότητας δεδομένων εντός της πλατφόρμας του μέσω του HDFS. Και το λειτουργικό σύστημα δεδομένων έχει ενεργοποιηθεί μέσω των εφαρμογών YARN του Hadoop. Αυτή η στρατηγική αντιπροσωπεύει μια μετατόπιση της αρχιτεκτονικής δεδομένων σε ένα θεμελιώδες επίπεδο. Τώρα, ο Hadoop μπορεί να αποθηκεύσει διάφορους τύπους δεδομένων, όπως βάσεις δεδομένων με βάση τις συναλλαγές, βάσεις δεδομένων γραφικών και βάσεις δεδομένων εγγράφων και αυτά τα δεδομένα μπορούν να αποκτήσουν πρόσβαση μέσω των εφαρμογών YARN. Δεν χρειάζεται να αντιγράφετε ή να μεταφέρετε τα δεδομένα σε άλλες τοποθεσίες.
Βελτιωμένη απόδοση ως αρχιτεκτονική δεδομένων επιχειρήσεων
Ο επιχειρησιακός Hadoop βρίσκεται στο δρόμο του να γίνει το βασικό σύστημα της αρχιτεκτονικής δεδομένων των επιχειρήσεων. Καθώς ο Hadoop εισέρχεται περισσότερο στην αρχιτεκτονική δεδομένων των επιχειρήσεων, τα σιλό δεδομένων πρόκειται να εξαλειφθούν καθώς εξαλείφονται οι γραμμές μεταξύ τους. Θα υπάρξει ταχεία βελτίωση σε όλες σχεδόν τις πτυχές. Οι βελτιώσεις θα πραγματοποιηθούν με τη μορφή αποδοτικότερων μορφών αρχείων, καλύτερης απόδοσης των μηχανών SQL, βελτιωμένων συστημάτων αρχείων και ευρωστίας που θα ικανοποιούν τις ανάγκες των επιχειρησιακών εφαρμογών.
Διαφορά μεταξύ του Hadoop και άλλων τεχνολογιών
Στο παρελθόν, η κύρια διαφορά μεταξύ των τεχνολογιών Hadoop και δεδομένων επιχειρήσεων ήταν οι μεγάλες δυνατότητες επεξεργασίας δεδομένων, αναφορών και ανάλυσης του Hadoop. Τώρα, καθώς ο επιχειρησιακός Hadoop γίνεται ολοένα και περισσότερο ένα μέρος της αρχιτεκτονικής δεδομένων για τις επιχειρήσεις, η διαφορά μεταξύ των οντοτήτων αποκτά ολοένα και πιο θολές. Έτσι, η επιχειρησιακή Hadoop αναδύεται ως μια ανώτερη εναλλακτική λύση στην υπάρχουσα αρχιτεκτονική δεδομένων των επιχειρήσεων.
συμπέρασμα
Με δεδομένες τις προσδοκίες και την πρόοδο, ο Hadoop θα είναι στο επίκεντρο της βιομηχανίας εδώ και αρκετό καιρό. Αλλά έχει νόημα να μην επικεντρωθεί πάρα πολύ στον Hadoop και απλά να αγνοήσει άλλες τεχνολογίες. Αυτό οφείλεται στο γεγονός ότι άλλες τεχνολογίες θα σημειώσουν πρόοδο στις ίδιες παραμέτρους και θα μπορούσαν ακόμη να ξεπεράσουν τον Hadoop. Ποτέ δεν είναι καλό να έχουμε μονοπώλιο στην αγορά. Είναι καλό ότι οι κατασκευαστές άλλων τεχνολογιών από τον Hadoop ενδέχεται να παρακινηθούν να παραδώσουν καλύτερα προϊόντα και ακόμη και plug-ins που βοηθούν τον Hadoop να βελτιώσει την απόδοσή του.