Περιεχόμενο
- No Bugs, No Stress - Ο οδηγός σας βήμα προς βήμα για τη δημιουργία λογισμικού που αλλάζει τη ζωή χωρίς να καταστρέφει τη ζωή σας
- Κάτω από την επιχείρηση
- Πώς ο Kafka θα αλλάξει τη Διαχείριση Δεδομένων
Πάρε μακριά:
Η Kafka θα κάνει για τα πληροφοριακά συστήματα τι κάνει το LinkedIn για τους επιχειρηματίες: κρατήστε τους συνδεδεμένους σε ευρεία κλίμακα.
Πιστεύοντας με πάθος σε κάτι που ακόμα δεν υπάρχει, το δημιουργούμε. Το ανύπαρκτο είναι ό, τι δεν θέλαμε επαρκώς.~ Franz Kafka
Η αναγκαιότητα παραμένει η μητέρα της εφεύρεσης. Όπως έλεγε κάποτε ένας έξυπνος σύμβουλος, "Αν υπάρχει κάτι που πρέπει να συμβεί σε έναν οργανισμό, συμβαίνει." Το σημείο του ήταν διπλό: 1) ορισμένοι άνθρωποι θα βρουν πάντα έναν τρόπο να κάνουν τα πράγματα? και 2) η ανώτατη διοίκηση, ή ακόμα και η μεσαία διοίκηση, μπορεί να αγνοεί ακριβώς πώς γίνονται τα πράγματα στο δικό τους ίδρυμα.
Εάν επεκτείνουμε αυτή τη μεταφορά σε ολόκληρο το σύμπαν της διαχείρισης δεδομένων, μπορούμε να δούμε μια μεταμόρφωση που λαμβάνει χώρα αυτή τη στιγμή. Η ακατέργαστη πίεση των μεγάλων δεδομένων, σε συνδυασμό με τον άξονα δεδομένων ροής, δημιουργεί τόσο μεγάλη πίεση ώστε τα συστήματα κληρονομιάς να εξαπλώνουν στα άκρα, αν δεν καταρρεύσουν τελείως. Παρ 'όλα αυτά, υπάρχουν αμέτρητοι επαγγελματίες που πηγαίνουν για τη δουλειά τους αυτή τη στιγμή, οι οποίοι σε μεγάλο βαθμό αγνοούν αυτή την πραγματικότητα.
Οι επιχειρήσεις που βασίζονται σε δεδομένα και βασίζονται σε δεδομένα έχουν ένα κάθισμα μπροστινής γραμμής και οδηγούν κατά πολλούς σε αυτήν την αλλαγή. Εξετάστε πόσο δυναμικά, όπως το Yahoo !, και το LinkedIn, έχουν μετατρέψει τη βιομηχανία λογισμικού επιχειρησιακού λογισμικού σε πλάγια όψη με τις τεράστιες δωρεές τους σε open source: Hadoop, Cassandra και τώρα Kafka, οι οποίες έχουν επικυρωθεί από το Ίδρυμα Apache, ο ίδιος ο κεντρικός παίκτης αυτής της μεταμόρφωσης .
Τι είναι το αποτέλεσμα αυτής της αλλαγής; Αυτό που μαρτυρούν σήμερα είναι η κατηγορηματική αναταξινόμηση και η αναδιάρθρωση της διαχείρισης δεδομένων. Αυτό δεν σημαίνει ότι τα συστήματα παλαιού τύπου θα εξαφανιστούν και θα αντικατασταθούν. Οποιοσδήποτε βετεράνος της βιομηχανίας θα σας πει ότι η χονδρική διάλυση των παλαιών συστημάτων συμβαίνει περίπου τόσο συχνά όσο οι Σικάγοι Cubs κερδίζουν το World Series. Είναι ένα σπάνιο γεγονός, για να πούμε το ελάχιστο.
Αυτό που πραγματικά συμβαίνει είναι ότι μια υπερ-δομή χτίζεται γύρω από τα συστήματα του παλιού κόσμου. Εξετάστε την αναλογία των διακρατικών αυτοκινητοδρόμων, οι οποίες συχνά ανεβαίνουν πάνω από τις πόλεις και τις πόλεις που εξυπηρετούν, που έχουν σχεδιαστεί για να μεταφέρουν ανθρώπους και φορτίο σε αυτά τα κέντρα πληθυσμού και να παρέχουν εξόδου σε οποιονδήποτε και οτιδήποτε μέσα σε αυτά. Δεν αντικαθιστούν τους υφιστάμενους δρόμους σε βαθμό που τους αυξάνουν με εναλλαγές υψηλής ταχύτητας.
Αυτό ακριβώς κάνει η Apache Kafka: παρέχει διαδρομές υψηλής ταχύτητας για την κίνηση δεδομένων μεταξύ και μεταξύ των συστημάτων πληροφοριών. Για να ακολουθήσουμε την αναλογία των αυτοκινητόδρομων, εξακολουθούν να υπάρχουν πολλές εταιρείες που χρησιμοποιούν γραμμικές ουρές ή το παλαιό πρότυπο ETL (εκχύλισμα μετασχηματισμού). αλλά αυτά τα μονοπάτια έχουν χαμηλά όρια ταχύτητας και υπάρχουν πολλά λακκούβες. Επιπλέον, τα έξοδα συντήρησης είναι συχνά υπερβολικά υψηλά. η σήμανση είναι κακή.
Η Kafka προσφέρει μια εναλλακτική μέθοδο για την παράδοση δεδομένων, κάτι που είναι αποφασιστικά πραγματικό χρόνο, κλιμακωτό και ανθεκτικό. Αυτό σημαίνει ότι ο Kafka δεν είναι μόνο ένα όχημα κίνησης δεδομένων, αλλά και ένας αντιγραφέας δεδομένων. και σε κάποιο βαθμό, μια τεχνολογία κατανεμημένης βάσης δεδομένων. Θα πρέπει να είμαστε προσεκτικοί για την υπερβολική αναλογία, καθώς υπάρχουν χαρακτηριστικά των βάσεων δεδομένων που είναι συμβατές με το ACID ότι ο Kafka δεν έχει ακόμα αθλητικές δραστηριότητες. Ακόμα, η αλλαγή είναι πραγματική.
Αυτά είναι εξαιρετικά νέα για το τοπίο πληροφοριών, επειδή τα δεδομένα είναι τώρα ελεύθερα να κυκλοφορούν για τη χώρα - και τον κόσμο, για αυτό το θέμα. Αυτό που ήταν κάποτε ένας επώδυνος περιορισμός, δηλαδή το χτύπημα παράθυρα παρτίδας για τις διεργασίες ETL, διαλύεται τώρα καθώς η ομίχλη δίνει τη θέση της στον καθαρό ουρανό κάτω από την έντονη ηλιοφάνεια. Όταν μεταφέρονται τα δεδομένα από το ένα σύστημα στο άλλο γίνεται οριακά χωρίς ομαλά, ξεκινά μια εποχή νέων ευκαιριών.
No Bugs, No Stress - Ο οδηγός σας βήμα προς βήμα για τη δημιουργία λογισμικού που αλλάζει τη ζωή χωρίς να καταστρέφει τη ζωή σας
Δεν μπορείτε να βελτιώσετε τις δεξιότητες προγραμματισμού σας όταν κανείς δεν ενδιαφέρεται για την ποιότητα του λογισμικού.
Τα ανθρώπινα όντα θα αντιπροσωπεύουν πιθανότατα την μεγαλύτερη τριβή στο δρόμο προς το νέο μέλλον. Οι παλιές συνήθειες δύσκολα πεθαίνουν. Nary ένας CIO παίρνει πάρα πολύ ενθουσιασμένος για να κάνει χονδρικές αλλαγές στα συστήματα των επιχειρήσεων. Είπε ένα καταλαβαίνω ανώτερο στέλεχος του ρόλου: "Ετοιμαστείτε να είστε μόνος." Μέσα σε ένα χρόνο από αυτό το σχόλιο, ήταν σύμβουλος. Δεν είναι εύκολο μονοπάτι, προσπαθώντας να διαχειριστεί τον αξιοθαύμαστο κόσμο των επιχειρηματικών δεδομένων.
Τα καλά νέα είναι ότι ο Kafka παρέχει μια ράμπα στο μέλλον. Επειδή χρησιμεύει ως λεωφορείο μεγάλης ισχύος, πολύπλευρο, δημιουργεί γέφυρες μεταξύ των παλαιότερων συστημάτων και των ομολόγων τους προς τα εμπρός. Έτσι, οι οργανώσεις που αγκαλιάζουν αυτή τη νέα ευκαιρία με ανοιχτό μυαλό και επαρκή προϋπολογισμό θα μπορέσουν να μπουν στον νέο κόσμο χωρίς να αφήσουν πίσω τους τα παλιά. Αυτό είναι μια σοβαρά μεγάλη διαπραγμάτευση.
Κάτω από την επιχείρηση
Ενώ το Apache Kafka είναι μια τεχνολογία ανοιχτού κώδικα, δωρεάν για οποιονδήποτε να κάνει λήψη και χρήση, οι χρήστες που δημιούργησαν αυτό το λογισμικό για το LinkedIn έχουν ξεδιπλώσει μια ξεχωριστή οντότητα που ονομάζεται Confluent, η οποία εστιάζει στη σκλήρυνση της προσφοράς για επιχειρηματική χρήση. Όπως το Cloudera, το Hortonworks και το MapR έχουν χτίσει τις επιχειρήσεις τους γύρω από το έργο ανοιχτού κώδικα του Apache Hadoop, έτσι ο Confluent επιδιώκει να κερδίσει χρήματα από τον Kafka.
Σε μια πρόσφατη συνέντευξη στην InsideAnalysis, ο Confluent CEO και ο συνιδρυτής Jay Kreps εξήγησαν την προέλευσή του στο LinkedIn:
"Ήμασταν να είχαμε όλα αυτά τα διαφορετικά συστήματα δεδομένων με διαφορετικά είδη δεδομένων, είχαμε βάσεις δεδομένων και είχαμε αρχεία καταγραφής και είχαμε μετρήσεις για διακομιστές και κάναμε χρήστες να κάνουν κλικ σε πράγματα. Να πάρει όλα αυτά τα δεδομένα γύρω - όπως πήρε μεγάλο - ήταν πολύ δύσκολο.Η ισχύς των δεδομένων ήταν μόνο εκεί εάν θα μπορούσατε να το πάρετε στις εφαρμογές, η επεξεργασία ή τα συστήματα που το χρειάστηκαν.Αυτό ήταν ένα μεγάλο πρόβλημα.
"Το άλλο πρόβλημα που είχαμε ήταν ότι υιοθετήσαμε τον Hadoop και αυτό ήταν κάτι που ασχολήθηκα με αυτό. Είχαμε αυτήν την φανταστική πλατφόρμα επεξεργασίας εκτός σύνδεσης που μπορούσαμε να κάνουμε κλίμακα και θα μπορούσαμε να βάλουμε όλα τα δεδομένα μας. Για το LinkedIn όλα τα δεδομένα μας συνέβησαν σε πραγματικές Υπάρχει πάντα μια τέτοια αναντιστοιχία, καθώς προσπαθήσαμε πραγματικά να χτίσουμε βασικά τμήματα της επιχείρησης εκτός των δεδομένων μας, ανάμεσα σε κάτι που έτρεξε μία φορά την ημέρα, ίσως τη νύχτα, και έφερε αποτελέσματα την επόμενη μέρα, και αυτό το είδος συνεχόμενων δεδομένων - σύντομοι χρόνοι αλληλεπίδρασης - που έπρεπε να καλύψουμε. Θέλαμε να είμαστε σε θέση να κάνουμε κάτι που υπήρχε στο ακαδημαϊκό χώρο για λίγο, αλλά δεν ήταν πραγματικά ένα mainstream πράγμα, το οποίο είναι να είναι σε θέση να να ρίξει κανείς και να επεξεργάζεται τις ροές των δεδομένων όπως δημιουργήθηκαν, αντί να καθίστανται ".
Καλά. Αυτό ακριβώς ακριβώς επιδιώκει να κάνει ο Confluent με επιχειρηματικά δεδομένα όλων των μορφών και μεγεθών. Η ευκαιρία στο παιχνίδι; Greenfield. Ειλικρινά, σε ολόκληρη την ιστορία του επιχειρησιακού λογισμικού, θα μπορούσε κανείς να υποστηρίξει ότι η απευθυνόμενη αγορά για την τεχνολογία αυτή παίρνει απολύτως το κέικ. Δεν υπάρχει ούτε ένας μεγάλος οργανισμός, ούτε μάλιστα μικρός επιχειρηματικός τομέας, ο οποίος δεν μπορεί να επωφεληθεί εξαιρετικά από αυτή την τεχνολογία.
Αυτό ισχύει ιδιαίτερα λόγω της νευρολογικής πτυχής αυτής της τεχνολογίας. όχι μόνο τα μυαλά που εμπλέκονται, αλλά και η φύση του τι κάνει ο Kafka για τα πληροφοριακά συστήματα. Επειδή ο Kafka μπορεί να χρησιμοποιηθεί για τη διαχείριση της κίνησης των δεδομένων σε έναν οργανισμό, μπορεί να θεωρηθεί ως κάτι περισσότερο από ένα μπάτσος κυκλοφορίας, αλλά μάλλον το μυαλό της ίδιας της επιχείρησης. Ήταν στα αρχικά στάδια αυτού του οράματος, αλλά είναι σίγουροι, το πραγματικό του.
Πώς ο Kafka θα αλλάξει τη Διαχείριση Δεδομένων
Για να κατανοήσετε τον τρόπο με τον οποίο ο Kafka θα αλλάξει τη φύση της διαχείρισης δεδομένων, σκεφτείτε απλώς τους τρόπους με τους οποίους η LinkedIn άλλαξε τη δικτύωση. Η εύρεση συναδέλφων έγινε πολύ πιο εύκολη. η διαμονή σε επαφή με τους ανθρώπους είναι τώρα ένα γρήγορο. Ο Kafka θα κάνει για συστήματα πληροφοριών τι κάνει το LinkedIn για τους επιχειρηματίες: κρατήστε τους συνδεδεμένους σε ολόκληρη την ευρύτερη περιοχή αυτής της γης.
Το spinoff του Confluent είναι εμβληματικό για κάτι που μπορούμε να ονομάσουμε Νέα Καινοτομία, ένα κίνημα που οδηγείται από την αποσύνδεση της ανάπτυξης λογισμικού και τη νοοτροπία κλειστών πηγών, καθοδηγούμενη από τους δημιουργούς της τεχνολογίας ανοιχτού κώδικα, που τροφοδοτούνται από μεγάλα ποσά επιχειρηματικού κεφαλαίου, κερδοσκοπικές εταιρείες που επιδιώκουν την επανάσταση στον τρόπο με τον οποίο οι οργανισμοί και οι άνθρωποι δημιουργούν, συλλέγουν, αναλύουν και αξιοποιούν τα δεδομένα.
Για να παραθέσω τον Franz Kafka, "Από ένα συγκεκριμένο σημείο και μετά, δεν υπάρχει πλέον καμιά επιστροφή. Αυτό είναι το σημείο που πρέπει να επιτευχθεί".
Έχουμε περάσει το Rubicon. Δεν υπάρχει καμία επιστροφή τώρα.