Πάρε μακριά: Η οικοδεσπότης Rebecca Jozwiak συζητά τα πλεονεκτήματα των καταλόγων δεδομένων με τον Dez Blanchfield, τον Robin Bloor και τον David Crawford.
Πρέπει να εγγραφείτε για αυτό το συμβάν για να δείτε το βίντεο. Εγγραφείτε για να δείτε το βίντεο.
Rebecca Jozwiak: Κυρίες και κύριοι, γεια και καλώς ήρθατε στην Hot Technologies του 2016. Σήμερα έχουμε, "Η δύναμη της πρότασης: Πώς ένας κατάλογος δεδομένων ενδυναμώνει τους αναλυτές." Είμαι ο οικοδεσπότης σας Rebecca Jozwiak, συμπληρώνοντας τον συνήθη οικοδεσπότη Eric Kavanagh σήμερα, ενώ ταξιδεύει στον κόσμο, γι 'αυτό σας ευχαριστούμε που συμμετείχατε. Αυτό το έτος είναι ζεστό, δεν είναι μόνο ζεστό στο Τέξας όπου είμαι, αλλά είναι ζεστό σε όλη τη χώρα. Υπάρχει μια έκρηξη όλων των ειδών τις νέες τεχνολογίες που βγαίνουν. Έχουμε IoT, streaming δεδομένων, υιοθέτηση νέφους, ο Hadoop συνεχίζει να ωριμάζει και να υιοθετείται. Έχουμε αυτοματοποίηση, μηχανική μάθηση, και όλα αυτά τα πράγματα υπογραμμίζονται φυσικά από τα δεδομένα. Και οι επιχειρήσεις γίνονται ολοένα και περισσότερα δεδομένα από την ημέρα. Και φυσικά, το σημείο αυτό είναι να οδηγήσει στη γνώση και την ανακάλυψη και, ξέρετε, να πάρει καλύτερες αποφάσεις. Αλλά για να αποκτήσετε πραγματικά την μεγαλύτερη αξία από τα δεδομένα, πρέπει να είναι εύκολο να φτάσετε. Εάν το κρατήσετε κλειδωμένο ή θαμμένο, ή στον εγκέφαλο μερικών ανθρώπων μέσα στην επιχείρηση, δεν πρόκειται να κάνει πολλά καλά για την επιχείρηση στο σύνολό της.
Και σκεφτόμουν κάπως την καταλογογράφηση δεδομένων και τη σκέψη των βιβλιοθηκών, όπου εδώ και πολύ καιρό πήγες αν χρειάζεσαι κάτι για να βρεις κάτι, αν έπρεπε να ερευνήσεις ένα θέμα ή να κοιτάξεις κάποια πληροφορία, πήγες στη βιβλιοθήκη , και βέβαια πήγατε στον κατάλογο καρτών ή στην κυρίαρχη κυρία που εργάστηκε εκεί. Αλλά ήταν επίσης διασκεδαστικό να περιπλανηθείτε, αν απλά ήθελα να κοιτάξετε και σίγουρα θα μπορούσατε να ανακαλύψετε κάτι καθαρό, μπορείτε να μάθετε μερικά ενδιαφέροντα γεγονότα που δεν γνωρίζατε, αλλά αν πραγματικά χρειάζεστε κάτι γνωρίζατε τι ψάχνατε, χρειάζεστε τον κατάλογο καρτών και βεβαίως το ισοδύναμο επιχείρησης είναι ένας κατάλογος δεδομένων, ο οποίος μπορεί να βοηθήσει να λάμψει το φως σε όλα τα δεδομένα για τους χρήστες μας να εμπλουτίσουν, να ανακαλύψουν, να μοιραστούν, να καταναλώσουν και να βοηθήσουν πραγματικά τους ανθρώπους τα δεδομένα γρηγορότερα και ευκολότερα.
Έτσι σήμερα έχουμε τον Dez Blanchfield, τον δικό μας επιστήμονα δεδομένων, και έχουμε τον Δρ Robin Bloor, τον κύριο αναλυτή μας, έχουμε τον David Crawford από τον Alation, ο οποίος πρόκειται να μιλήσει για την ιστορία καταγραφής δεδομένων της εταιρείας του, αλλά πρώτα θα πάμε να απογειωθεί με Dez. Dez, περνάω την μπάλα σε εσένα και το πάτωμα είναι δικό σου.
Dez Blanchfield: Ευχαριστώ, ευχαριστώ που με πήρατε σήμερα. Αυτό είναι ένα ζήτημα που με ενδιαφέρει ιδιαίτερα, επειδή σχεδόν κάθε οργάνωση συναντάμε στην καθημερινή μου εργασία, βρίσκω ακριβώς το ίδιο θέμα που μιλήσαμε πολύ σύντομα σχετικά με την αλήθεια πριν από την εκπομπή, και αυτό είναι ότι οι περισσότεροι οργανισμοί που δουλεύουν για περισσότερα από μερικά χρόνια έχουν μια πληθώρα δεδομένων που έχουν ταφεί γύρω από τον οργανισμό, με διαφορετικές μορφές και στην πραγματικότητα έχω πελάτες που έχουν σύνολα δεδομένων που επιστρέφουν στο Lotus Notes, βάσεις δεδομένων που εξακολουθούν να τρέχουν σε κάποια ως ψευδοδιεθνείς τους και όλοι τρέχουν σε αυτή την πρόκληση να διαπιστώσουν πού είναι τα δεδομένα τους και πώς να αποκτήσουν πρόσβαση σε αυτά, σε ποιον να τους παράσχει πρόσβαση, πότε θα τους επιτρέψουν την πρόσβαση και ποια είναι η μόνη τον κατάλογο και τον τρόπο με τον οποίο μπορεί κανείς να: A) να γνωρίζει τι υπάρχει και τι υπάρχει και πώς να αποκτά πρόσβαση σε αυτό και να το χρησιμοποιεί. Και μια από τις μεγαλύτερες προκλήσεις βέβαια είναι η εξεύρεση, η άλλη μεγάλη πρόκληση είναι να γνωρίζουμε τι υπάρχει και πώς να το αποκτήσετε πρόσβαση.
Μπορεί να ξέρω καλά ότι έχω δεκάδες βάσεις δεδομένων, αλλά δεν ξέρω τι είναι εκεί ή πώς να μάθεις τι υπάρχει εκεί και έτσι συνεχώς όπως ανακαλύπτουμε τώρα στα δεδομένα προ της εμφάνισης, τείνεις να περπατάς γύρω από το γραφείο και να κάνω ερωτήσεις και να φωνάξω στα κυβικά τοιχώματα και να προσπαθήσω να καταλάβω, συχνά η εμπειρία μου είναι ότι μπορεί να βρεις ακόμη ότι περιπλανιέσαι στη ρεσεψιόν, στη ρεσεψιόν και ρωτάς αν κάποιος ξέρει ποιος είσαι; θα πάμε να μιλήσουμε. Πολύ συχνά, δεν είναι πάντα οι άνθρωποι της τεχνολογίας της πληροφορίας επειδή δεν γνωρίζουν το σύνολο δεδομένων, επειδή κάποιος το δημιούργησε, και θα μπορούσε να είναι κάτι απλό ως ένα - πολύ συχνά θα βρούμε ένα έργο κάποιου είδους που βρίσκεται σε περιβάλλον πληροφορικής και ο υπεύθυνος του έργου χρησιμοποίησε ένα υπολογιστικό φύλλο όλων των πραγμάτων και έλαβε κάποια τεράστια ποσότητα πολύτιμων πληροφοριών γύρω από τα περιουσιακά στοιχεία και τα con και ονόματα και αν δεν γνωρίζετε αυτό το έργο και γνωρίζετε αυτό το άτομο, απλά δεν μπορείτε να βρείτε αυτές τις πληροφορίες. Δεν είναι απλά διαθέσιμο, και πρέπει να πάρετε το αρχικό αρχείο.
Υπάρχει μια φράση που έχει μολυνθεί γύρω από τα δεδομένα και δεν συμφωνώ απαραίτητα με αυτό, αλλά νομίζω ότι είναι ένα χαριτωμένο μικρό ρίσκο και αυτό είναι που ένα ορισμένο αριθμό ανθρώπων πιστεύουν ότι τα δεδομένα είναι το νέο πετρέλαιο και είμαι βέβαιος ότι «θα το καλύψουμε και σε κάποια πτυχή, αργότερα σήμερα. Αλλά αυτό που έχω παρατηρήσει, σίγουρα ότι είναι μέρος αυτού του μετασχηματισμού, είναι ότι οι οργανώσεις επιχειρήσεων που έχουν μάθει να εκτιμούν τα δεδομένα τους έχουν αποκτήσει σημαντικό πλεονέκτημα έναντι των ανταγωνιστών τους.
Υπήρξε ένα ενδιαφέρον έγγραφο από την IBM, περίπου πριν από πέντε ή έξι χρόνια, και έκαναν έρευνα σε περίπου 4.000 εταιρείες εδώ στην Αυστραλία και έλαβαν όλες τις πληροφορίες, όλα τα στοιχεία απόδοσης, όλα τα οικονομικά στοιχεία και το έβαζαν μαζί σε ένα δοχείο βρασμού και στη συνέχεια το έστειλαν στην Αυστραλιανή Σχολή Οικονομικών και στην πραγματικότητα ξεκίνησαν μια κοινή τάση εδώ και ότι οι εταιρείες που εκμεταλλεύονταν τεχνολογία κέρδιζαν σταθερά ένα τέτοιο ανταγωνιστικό πλεονέκτημα έναντι των συμμαθητών τους και των ανταγωνιστών τους, που οι ανταγωνιστές τους σχεδόν ποτέ δεν προπονεύουν και νομίζω αυτό συμβαίνει τώρα με τα δεδομένα που έχουμε δει ό, τι οι άνθρωποι αποκαλούν ψηφιακό μετασχηματισμό, όπου οι οργανώσεις που έχουν ξεκαθαρίσει σαφώς πώς να βρουν τα δεδομένα που έχουν, να κάνουν αυτά τα δεδομένα διαθέσιμα και να τα κάνουν διαθέσιμα σε μερικά πολύ εύκολα αναλώσιμα μόδα στην οργάνωση, χωρίς απαραίτητα να γνωρίζει πάντα γιατί η οργάνωση μπορεί να την χρειαστεί και να αποκτήσει σημαντικό πλεονέκτημα έναντι των ανταγωνιστών.
Έχω δυο παραδείγματα σε αυτή τη διαφάνεια, τα οποία μπορείτε να δείτε. Η μόνη μου γραμμή είναι ότι η μεγάλη διαταραχή σε όλους σχεδόν τους τομείς της βιομηχανίας, κατά την άποψή μου, οδηγείται από δεδομένα και εάν οι τρέχουσες τάσεις είναι κάτι που πρέπει να περάσουν, η άποψή μου είναι ότι έχουμε μόλις πάρει μόλις ξεκίνησε επειδή όταν οι μακροχρόνιες μάρκες τελικά ξυπνήσουν για το τι σημαίνει αυτό και μπαίνουν στο παιχνίδι, θα μπουν στο παιχνίδι στο χονδρεμπόριο. Όταν κάποιοι μεγάλοι λιανοπωλητές που έχουν βουνά δεδομένων αρχίσουν να εφαρμόζουν κάποια ιστορική ανάλυση για τα δεδομένα, αν γνωρίζουν ότι υπάρχει, τότε μερικοί από τους online παίκτες θα πάρουν ένα κομμάτι μιας κλήσης αφύπνισης.
Αλλά με πολλά από τα περισσότερα από αυτά τα εμπορικά σήματα, εννοώ ότι έχουμε την Uber που είναι η μεγαλύτερη εταιρεία ταξί στον κόσμο. Δεν κατέχουν κανένα ταξί, έτσι τι είναι αυτό που τους κάνει μαγικούς, ποια είναι τα δεδομένα τους; Η Airbnb, ο μεγαλύτερος πάροχος διαμονής, έχουμε την WeChat, τη μεγαλύτερη τηλεφωνική εταιρεία στον κόσμο, αλλά δεν έχουν καμία πραγματική υποδομή και δεν υπάρχουν συσκευές, ούτε τηλεφωνικές γραμμές. Alibaba, ο μεγαλύτερος λιανοπωλητής στον πλανήτη, αλλά δεν κατέχουν κανένα από τα αποθέματα. , η μεγαλύτερη εταιρεία μέσων ενημέρωσης στη λέξη. Νομίζω ότι στην τελευταία μέτρηση είχαν τώρα 1,4 δισεκατομμύρια ενεργούς χρήστες δεδομένων, κάτι που είναι ένα μυαλό. Δεν είναι πουθενά κοντά - νομίζω ότι κάποιος υποστήριξε ότι ένα τέταρτο του πλανήτη είναι στην πραγματικότητα εκεί κάθε μέρα, και όμως εδώ είναι ένας πάροχος περιεχομένου που πραγματικά δεν δημιουργεί το περιεχόμενο, όλα τα δεδομένα που εξυπηρετούν δεν δημιουργείται από αυτά, δημιουργείται από τους συνδρομητές και όλοι γνωρίζουμε αυτό το μοντέλο.
SocietyOne, το οποίο ίσως ή δεν μπορεί να έχετε ακούσει, είναι ένα τοπικό εμπορικό σήμα, νομίζω ότι σε μερικές χώρες είναι μια τράπεζα που πραγματικά κάνει δάνεια από ομοτίμους, οπότε δεν έχει χρήματα. Το μόνο που κάνει είναι ότι διαχειρίζεται τις συναλλαγές και τα δεδομένα βρίσκονται κάτω από αυτό. Netflix, είμαστε όλοι πολύ εξοικειωμένοι με αυτό. Υπάρχει μια ενδιαφέρουσα μονογραμμή εδώ. Όταν η Netflix ήταν νομικά ικανή να χρησιμοποιηθεί στην Αυστραλία, όταν ανακοινώθηκε επίσημα, δεν χρειάστηκε να χρησιμοποιήσετε ένα VPN για να φτάσετε σε αυτό, πολλοί άνθρωποι σε όλο τον κόσμο τείνουν να - αν δεν μπορείτε να φτάσετε σε αυτό στην περιοχή σας - όταν Το Netfix ξεκίνησε στην Αυστραλία, αύξησε το διεθνές εύρος ζώνης στις συνδέσεις μας στο διαδίκτυο κατά 40 τοις εκατό, έτσι σχεδόν διπλασίασε τη χρήση του Διαδικτύου στην Αυστραλία μια μέρα στην άλλη, με μία μόνο εφαρμογή, μία εφαρμογή που φιλοξενείται σε σύννεφο και δεν παίζει τίποτε παρά μόνο με δεδομένα. Είναι απλώς μια στατιστική γεμάτη μυαλά.
Και φυσικά, είμαστε όλοι εξοικειωμένοι με την Apple και την Google, αλλά αυτές είναι οι μεγαλύτερες επιχειρήσεις λογισμικού στον πλανήτη, όμως δεν γράφουν πραγματικά τις εφαρμογές. Ποιο είναι το συνεπές με όλες αυτές τις οργανώσεις; Λοιπόν, είναι δεδομένα, και δεν πήγαν εκεί επειδή δεν ήξεραν πού ήταν τα δεδομένα τους και δεν κατάφεραν να το καταγράψουν.
Αυτό που βρούμε τώρα είναι ότι αυτή η νέα κατηγορία περιουσιακών στοιχείων αναφέρεται ως δεδομένα και οι εταιρείες ξυπνούν. Αλλά δεν έχουν πάντα τα εργαλεία και την τεχνογνωσία και για το λόγο αυτό να χαρτογραφήσουν όλα αυτά τα δεδομένα, να καταγράψουν όλα αυτά τα στοιχεία και να τα καταστήσουν διαθέσιμα, αλλά διαπιστώσαμε ότι εταιρείες με σχεδόν καμία φυσική περιουσία δεν έχουν κερδίσει υψηλή εμπορική αξία σε χρόνο ρεκόρ μέσω αυτής της νέας κατηγορίας στοιχείων δεδομένων. Όπως έχω πει, μερικοί από τους παλιούς παίκτες ξυπνούν τώρα και σίγουρα το αναδεικνύουν.
Είμαι ένας μεγάλος οπαδός της λαϊκής παράδοσης σε ένα μικρό ταξίδι, οπότε στις δεκαοχτώ εκατοντάδες, αργότερα δεκαοχτώ εκατοντάδες, και θα είστε περισσότερο από εξοικειωμένοι με αυτό στην αγορά των ΗΠΑ, αποδείχθηκε ότι για να εκτελέσετε μια απογραφή κάθε χρόνο ή έτσι, νομίζω ότι τους έτρεξαν κάθε δέκα χρόνια σε αυτό το σημείο, αλλά αν πρόκειται να διεξάγετε απογραφή κάθε χρόνο, θα μπορούσατε να διαρκέσετε έως οκτώ ή εννέα χρόνια για να κάνετε πραγματικά την ανάλυση των δεδομένων. Αποδείχθηκε ότι αυτό το σύνολο δεδομένων έμεινε έπειτα σε κουτιά σε θέσεις σε χαρτί και σχεδόν κανείς δεν το βρήκε. Συνέχισαν να αντλούν αυτές τις αναφορές, αλλά τα πραγματικά δεδομένα ήταν πολύ δύσκολα να τα βγάλουμε, έχουμε μια παρόμοια κατάσταση με μια άλλη παγκόσμια σημαντική στιγμή, γύρω στη δεκαετία του 1940, με τον Δεύτερο Παγκόσμιο Πόλεμο, και αυτό είναι το Bletchee Bombe , και ήταν ένα τεράστιο αναλυτικό εργαλείο που θα μπορούσε να περάσει από μικρά σύνολα δεδομένων και να βρει σήματα σε αυτό και θα μπορούσε να χρησιμοποιηθεί για να βοηθήσει τους κώδικες μέσω του Enigma.
Αυτό το πράγμα πάλι, ήταν ουσιαστικά μια συσκευή που σχεδιάστηκε, όχι πολύ για καταλογογράφηση, αλλά για ετικέτα και χαρτογράφηση δεδομένων, και καθιστούσε δυνατή τη λήψη μοτίβων και την εύρεση μέσα στα σύνολα δεδομένων, σε αυτή την περίπτωση, break codes, εύρεση κλειδιών και φράσεων και εύρεση τακτικά σε σύνολα δεδομένων και έτσι έχουμε περάσει αυτό το ταξίδι εύρεσης στοιχείων σε δεδομένα και οδηγώντας σε δεδομένα καταλογογράφησης.
Και έπειτα αυτά τα πράγματα ήρθαν μαζί, αυτά τα τεράστια χαμηλού κόστους ράφια μηχανημάτων, ακριβώς έξω από το ράφι μηχανές. Και κάναμε μερικά πολύ ενδιαφέροντα πράγματα και ένα από τα πράγματα που κάναμε μαζί τους είναι ότι χτίσαμε ομάδες πολύ χαμηλού κόστους που θα μπορούσαν να ξεκινήσουν την ευρετηρίαση του πλανήτη και πολύ περίφημα αυτά τα μεγάλα εμπορικά σήματα που έχουν έρθει και φύγουν αλλά πιθανώς το Google είναι το πιο κοινό σπίτι μάρκα για την οποία όλοι έχουμε ακούσει - είναι ένα πραγματικό ρήμα και γνωρίζετε ότι είστε επιτυχής όταν η μάρκα σας γίνεται ρήμα. Αλλά αυτό που μας δίδαξε η Google, χωρίς να το συνειδητοποιήσουμε, ενδεχομένως στον επιχειρηματικό κόσμο, είναι ότι ήταν σε θέση να αναδείξουν ολόκληρο τον πλανήτη σε ένα ορισμένο επίπεδο και να καταγράψουν τα δεδομένα που ήταν σε όλο τον κόσμο και να τα καταστήσουν διαθέσιμα σε μια πολύ εύκολη, βολική μορφή σε μια μικρή μικροσκοπική φόρμουλα μιας γραμμής, μια ιστοσελίδα με σχεδόν τίποτα σε αυτό, και πληκτρολογείτε στο ερώτημά σας, πηγαίνει και το βρίσκει επειδή είχαν ήδη σκάψει τον πλανήτη, το ευρετηρίασαν και το έκαναν εύκολα διαθέσιμα.
Και αυτό που παρατήρησα ήταν: "Κρατήστε καλά, δεν κάνουμε αυτό σε οργανισμούς - γιατί είναι αυτό; Γιατί είναι ότι έχουμε μια οργάνωση που μπορεί να χαρτογραφήσει ολόκληρο τον πλανήτη και να τον δείξει, να ανιχνεύσει και να το δείξει και να το καταστήσει διαθέσιμο, να το ψάξουμε και στη συνέχεια να κάνουμε κλικ στο πράγμα για να το βρούμε, δεν έχει γίνει αυτό εσωτερικά; "Έτσι, υπάρχουν πολλά από αυτά τα μικρά ράφια των μηχανών σε όλο τον κόσμο τώρα που το κάνουν αυτό για τα intranets και βρίσκουν πράγματα, αλλά εξακολουθούν να είναι πραγματικά ακριβώς να ασχοληθούν με την ιδέα της μετάβασης από την παραδοσιακή ιστοσελίδα, ή διακομιστή αρχείων.
Αντί να μπαίνουμε τώρα σε αυτή την επόμενη γενιά του καταλόγου δεδομένων με πολλούς τρόπους, η ανακάλυψη της πρόσβασης δεδομένων μέσω μεταγλωττισμένων σημειώσεων και συνομιλιών με ψύκτες νερού δεν είναι πραγματικά μια κατάλληλη μέθοδος για την ανακάλυψη δεδομένων και την καταλογογράφηση πια, και στην πραγματικότητα, δεν νομίζω ότι ήταν πραγματικά πραγματικά . Δεν μπορούμε πλέον να οδηγήσουμε ολόκληρη αυτή την πρόκληση σε ανθρώπους που απλά περνούν σημειώσεις, τοποθετούν σημειώσεις και συζητούν για αυτό. Είμαστε καλά και πραγματικά πέρα από την περιοχή τώρα που αυτή η επόμενη γενιά προσέγγιση για την καταλογογράφηση δεδομένων έχει έρθει και φύγει. Πρέπει να το πάρουμε γύρω μας. Αν αυτό ήταν ένα εύκολο ζήτημα, θα το λύσαμε ήδη με πολλούς τρόπους νωρίτερα, αλλά νομίζω ότι δεν είναι εύκολο ζήτημα, απλά η ευρετηρίαση και η κλήση των δεδομένων είναι μόνο ένα μέρος, γνωρίζοντας τι υπάρχει στα δεδομένα και δημιουργώντας μεταδεδομένα γύρω από αυτό που ανακαλύπτουμε, και στη συνέχεια να το διαθέσουμε σε μια εύκολη, αναλώσιμη μορφή, ιδιαίτερα στην αυτοεξυπηρέτηση και την ανάλυση. Είναι ακόμα ένα πρόβλημα που επιλύεται, αλλά πολλά μέρη του παζλ σε πέντε χρόνια είναι καλά και πραγματικά λυθούν και είναι διαθέσιμα.
Όπως γνωρίζουμε, οι άνθρωποι που καταγράφουν τα δεδομένα είναι μια συνταγή για αποτυχία επειδή το ανθρώπινο λάθος είναι ένας από τους μεγαλύτερους εφιάλτες που ασχολούμαστε με την επεξεργασία δεδομένων και μιλάω τακτικά για αυτό το θέμα όπου, κατά την άποψή μου, οι άνθρωποι που συμπληρώνουν χαρτί είναι ίσως ο μεγαλύτερος εφιάλτης ασχολούμαστε με μεγάλα δεδομένα και αναλύσεις, πρέπει να διορθώνουμε συνεχώς τα πράγματα που κάνουν, ακόμα και κάτω απλά πράγματα όπως οι ημερομηνίες και τα πεδία, οι άνθρωποι που το βάζουν σε λάθος μορφή.
Αλλά όπως έχω πει, έχουμε δει μηχανές αναζήτησης στο διαδίκτυο να αναδεικνύουν τον κόσμο κάθε μέρα, οπότε τώρα το κάνουμε με την ιδέα ότι αυτό μπορεί να γίνει με σύνολα επιχειρηματικών δεδομένων στη διαδικασία της ανακάλυψης και τα εργαλεία και τα συστήματα είναι τώρα εύκολα διαθέσιμες καθώς πρόκειται να μάθετε σήμερα. Έτσι, το κόλπο, πραγματικά κατά τη γνώμη μου, επιλέγει τα σωστά εργαλεία, τα καλύτερα εργαλεία για τη δουλειά. Και πιο κατάλληλα πάνω από αυτό, βρίσκοντας το σωστό μέρος για να σας βοηθήσει να ξεκινήσετε αυτή τη διαδρομή. Και πιστεύω ότι πρόκειται να το ακούσουμε σήμερα, αλλά πριν το κάνουμε αυτό, θα περάσω στο κολέγιο μου, τον Robin Bloor και θα ακούσω τη λήψη του σχετικά με το θέμα. Ρόμπιν, μπορώ να σας μεταφέρω;
Robin Bloor: Ναι, σίγουρα μπορείτε. Ας δούμε αν αυτό λειτουργεί, αλλά ναι. Εντάξει, έρχομαι από μια διαφορετική κατεύθυνση από την Dez πραγματικά, αλλά θα καταλήξω στον ίδιο τόπο. Πρόκειται για σύνδεση με δεδομένα, γι 'αυτό σκέφτηκα ότι θα περνούσα την πραγματικότητα της σύνδεσής μου με τα δεδομένα, πραγματικά με σημείο προς το σημείο.
Υπάρχει ένα γεγονός ότι τα δεδομένα είναι πιο κατακερματισμένα από ποτέ. Ο όγκος των δεδομένων αυξάνεται φαινομενικά, αλλά στην πραγματικότητα, οι διάφορες πηγές δεδομένων αυξάνονται επίσης με απίστευτο ρυθμό και επομένως τα δεδομένα ολοένα και περισσότερο κατακερματίζονται συνεχώς. Αλλά εξαιτίας κυρίως των εφαρμογών ανάλυσης - αλλά αυτές δεν είναι οι μοναδικές εφαρμογές - έχουμε έναν πολύ καλό λόγο να συνδεθούμε με όλα αυτά τα δεδομένα, έτσι είμαστε κολλημένοι σε ένα δύσκολο σημείο, είμαστε κολλημένοι σε έναν κόσμο κατακερματισμένων δεδομένων, και υπάρχει η δυνατότητα στα δεδομένα, όπως ονομάζει το Dez, το νέο πετρέλαιο.
Σχετικά με τα δεδομένα, χρησιμοποιήθηκε για να ζει σε περιστρεφόμενο δίσκο, είτε σε συστήματα αρχείων είτε σε βάσεις δεδομένων. Τώρα ζει σε ένα πολύ πιο ποικίλο περιβάλλον, ζει σε συστήματα αρχείων, αλλά ζει και σε περιπτώσεις Hadoop σήμερα, ή ακόμα και περιπτώσεις Spark. Ζει σε πολλά είδη βάσεων δεδομένων. Όχι πολύ καιρό πριν, εμείς τυποποιήσαμε κάποιες σχεσιακές βάσεις δεδομένων, αλλά γνωρίζετε ότι βγήκε από το παράθυρο τα τελευταία πέντε χρόνια, επειδή υπάρχει ανάγκη για βάσεις δεδομένων εγγράφων και υπάρχει ανάγκη για βάσεις δεδομένων γραφημάτων, έτσι ξέρετε ότι το παιχνίδι έχει άλλαξε. Έτσι ζούσε στο spinning δίσκο, αλλά τώρα ζει σε SSD. Το τελευταίο ποσό των SSD - σίγουρα η τελευταία μονάδα SSD έρχεται από τη Samsung - είκοσι gigabytes, η οποία είναι τεράστια. Τώρα ζει στη μνήμη, υπό την έννοια ότι το πρωτότυπο αντίγραφο των δεδομένων μπορεί να είναι στη μνήμη, αντί για δίσκο, δεν χρησιμοποιήσαμε για να χτίσουμε τέτοια συστήματα. το κάνουμε τώρα. Και ζει στο σύννεφο. Που σημαίνει ότι μπορεί να ζήσει σε οποιοδήποτε από αυτά τα πράγματα, στο σύννεφο, εσείς συνηθίζει να ξέρετε πού βρίσκεται σε ένα σύννεφο, θα έχετε μόνο τη διεύθυνσή του.
Απλώς για να ορμήσει το σημείο στο σπίτι, ο Hadoop έχει μέχρι στιγμής αποτύχει ως εκτάσιμο κατάστημα δεδομένων. Είχαμε την ελπίδα ότι θα γίνει ένα επεκτάσιμο αποθηκευτικό κατάστημα δεδομένων και θα γίνει απλά ένα σύστημα αρχείων για όλα και θα ήταν - τα ουράνια τόξα θα εμφανίζονταν στον ουρανό, βασικά, και οι μονόκεροι θα χορούσαν γύρω και κανένα από αυτά δεν συνέβη. Αυτό σημαίνει ότι καταλήγουμε σε ένα πρόβλημα μεταφοράς δεδομένων και δεν υπάρχει ανάγκη για μεταφορά δεδομένων, κατά καιρούς, αλλά είναι επίσης μια δυσκολία. Δεδομένα πραγματικά έχουν τη βαρύτητα στις μέρες μας, από τη στιγμή που έχετε εισέλθει στα δεδομένα πολλαπλών terabytes, συλλέγοντάς τα και ρίχνοντάς τα, προκαλώντας λανθάνουσες εμφανίσεις στο δίκτυό σας ή εμφανίζοντας σε διάφορα μέρη. Αν θέλετε να μεταφέρετε τα δεδομένα γύρω, ο συγχρονισμός είναι ένας παράγοντας. Υπάρχει σχεδόν πάντα, σήμερα, κάποια όρια για το πόσο χρόνο πρέπει να πάρετε ένα πράγμα, ένα δεδομένο από ένα μέρος σε άλλο. Υπήρχε αυτό που θεωρούσαμε ως παράθυρα παρτίδας, όταν το μηχάνημα ήταν κάπως αδρανές και ανεξάρτητα από το πόσα δεδομένα είχατε, θα μπορούσατε να το πετάξετε και αυτό θα συνέβαινε. Λοιπόν αυτό έχει φύγει, ζούμε σε έναν κόσμο σε πραγματικό χρόνο. Συνεπώς, ο συγχρονισμός είναι ένας παράγοντας. Μόλις θέλετε να μετακινήσετε τα δεδομένα γύρω, έτσι ώστε αν τα δεδομένα έχουν βαρύτητα, πιθανώς το λοξοτομείτε να το μετακινήσετε.
Η διαχείριση των δεδομένων είναι ένας παράγοντας με την έννοια ότι έχετε πράγματι καταφέρει να διαχειριστείτε όλα αυτά τα δεδομένα, δεν παίρνετε αυτό δωρεάν, και η αναπαραγωγή μπορεί να είναι απαραίτητη για να λάβετε πραγματικά τα δεδομένα για να κάνετε τη δουλειά που χρειάζεται να κάνετε, επειδή μπορεί δεν είναι οπουδήποτε το έχετε θέσει. Μπορεί να μην διαθέτει επαρκείς πόρους για να κάνει την κανονική επεξεργασία των δεδομένων. Έτσι, τα δεδομένα επαναλαμβάνονται και τα δεδομένα αντιγράφονται περισσότερο από ό, τι θα φανταστείτε. Νομίζω ότι κάποιος μου είπε πριν από πολύ καιρό ότι το μέσο κομμάτι των δεδομένων αναπαράγεται τουλάχιστον δυόμισι φορές. Οι ESB ή Kafka παρουσιάζουν μια επιλογή για ροή δεδομένων, αλλά σήμερα απαιτεί αρχιτεκτονική. Σήμερα πρέπει πραγματικά να σκεφτείτε με τον ένα ή τον άλλο τρόπο, για το τι πραγματικά σημαίνει να ρίξετε τα δεδομένα γύρω. Επομένως, για να έχετε πρόσβαση στα δεδομένα όπου είναι, είναι συνήθως προτιμότερο, εφ 'όσον, φυσικά, μπορείτε να πάρετε την απόδοση που χρειάζεστε όταν πηγαίνετε πραγματικά για τα δεδομένα και αυτό εξαρτάται από con. Έτσι είναι μια δύσκολη κατάσταση, ούτως ή άλλως. Όσον αφορά τα ερωτήματα δεδομένων, χρησιμοποιήσαμε για να μπορούμε να σκεφτούμε από την άποψη του SQL, έχουμε καταλήξει πραγματικά τώρα, ξέρετε, διαφορετικές φόρμες ερωτήσεων, SQL ναι, αλλά δίπλα, επίσης ερωτήματα γραφημάτων, το Spark είναι μόνο ένα παράδειγμα να κάνουμε γράφημα , διότι επίσης πρέπει να κάνουμε αναζήτηση, περισσότερο από ό, τι κάναμε, επίσης, τον τύπο επανάληψης των αναζητήσεων, που είναι πολύ περίπλοκες αναζητήσεις για μοτίβα και γνήσια αντιστοίχιση προτύπων, όλα αυτά τα πράγματα εξαντλούνται. Και όλα αυτά είναι χρήσιμα επειδή σας φέρνουν αυτό που ψάχνετε ή μπορούν να σας πάρουν αυτό που ψάχνετε.
Τα ερωτήματα τώρα καλύπτουν πολλαπλά δεδομένα, επομένως δεν το έκανε πάντα και συχνά η απόδοση είναι φοβερή εάν το κάνετε αυτό. Επομένως, εξαρτάται από τις περιστάσεις, αλλά οι άνθρωποι αναμένουν να είναι σε θέση να αναζητήσουν δεδομένα από πολλαπλές πηγές δεδομένων, οπότε η ομοσπονδία δεδομένων ενός ή του άλλου είδους γίνεται όλο και πιο πρόσφατη. Η εικονικοποίηση δεδομένων, η οποία είναι ένας διαφορετικός τρόπος για να γίνει αυτό, ανάλογα με την απόδοση, είναι επίσης πολύ συνηθισμένος. Τα ερωτήματα δεδομένων είναι στην πραγματικότητα μέρος μιας διαδικασίας και όχι ολόκληρη η διαδικασία. Ακριβώς αξίζει να τονιστεί ότι, εάν εξετάζετε πραγματικά την απόδοση των αναλυτικών στοιχείων, τα πραγματικά αναλυτικά στοιχεία μπορεί να διαρκέσουν πολύ περισσότερο από τη συλλογή δεδομένων, επειδή εξαρτώνται από τις περιστάσεις, αλλά τα ερωτήματα δεδομένων είναι απόλυτη ανάγκη εάν θέλετε να κάνετε οποιαδήποτε είδος αναλυτικών στοιχείων σε πολλαπλές πηγές δεδομένων και απλά πρέπει πραγματικά να έχετε δυνατότητες που καλύπτουν.
Έτσι για τους καταλόγους.Οι κατάλογοι υπάρχουν για ένα λόγο, τουλάχιστον λέμε ότι, ξέρετε, υπάρχουν, έχουμε καταλόγους και έχουμε σχέδια σε βάσεις δεδομένων και έχουμε κάθε κατάλογο και έχουμε όπου κι αν πάτε θα βρείτε ένα μέρος και στη συνέχεια θα διαπιστώστε ότι υπάρχει κάποιο είδος καταλόγου και ο ενοποιημένος παγκόσμιος κατάλογος είναι τόσο προφανώς καλή ιδέα. Αλλά πολύ λίγες εταιρείες έχουν κάτι τέτοιο. Θυμάμαι, πίσω στο έτος δύο χιλιάδες - η χρονιά δύο χιλιάδες πανικός - θυμάμαι ότι οι κομμουνιστές δεν μπορούσαν να εντοπίσουν πόσα εκτελέσιμα είχαν, ανεξάρτητα από το πόσα διαφορετικά καταστήματα δεδομένων είχαν και ίσως συμβαίνει τώρα, εσύ γνωρίζουμε ότι οι περισσότερες εταιρείες δεν γνωρίζουν ενεργά με την παγκόσμια έννοια, ποια στοιχεία έχουν. Ωστόσο, είναι προφανώς όλο και περισσότερο απαραίτητο να έχουμε έναν παγκόσμιο κατάλογο ή τουλάχιστον να έχουμε μια συνολική εικόνα για το τι συμβαίνει λόγω της αύξησης των πηγών δεδομένων και της συνεχιζόμενης ανάπτυξης των εφαρμογών και είναι ιδιαίτερα απαραίτητο για τους αναλυτές, επειδή και με έναν τρόπο και υπάρχουν και άλλα θέματα εδώ, όπως η γενεαλογία και τα προβλήματα με τα δεδομένα, και είναι απαραίτητο για την ασφάλεια, πολλές πτυχές της διακυβέρνησης των δεδομένων, αν πραγματικά δεν γνωρίζετε ποια δεδομένα έχετε, την ιδέα ότι εσείς πρόκειται να κυβερνήσει είναι απλώς παράλογο. Έτσι, σε αυτό, όλα τα δεδομένα καταλογογραφούνται με κάποιο τρόπο είναι απλώς ένα γεγονός. Το ερώτημα είναι κατά πόσον ο κατάλογος είναι συνεπής και στην πραγματικότητα τι μπορείτε να κάνετε με αυτό. Έτσι θα περάσω πίσω στη Ρεβέκκα.
Rebecca Jozwiak: Εντάξει, ευχαριστώ τον Robin. Έπειτα, έχουμε τον Δαβίδ Κρόφορντ από τον Alation, τον David, θα πάμε μπροστά και θα περάσουμε την μπάλα σε σας, και μπορείτε να το πάρετε μακριά.
David Crawford: Σε ευχαριστώ πάρα πολύ. Σας εκτιμώ πολύ που με πήρατε σε αυτή την παράσταση. Νομίζω ότι πρόκειται να ξεκινήσω αυτό το θέμα, οπότε νομίζω ότι ο ρόλος μου εδώ είναι να λάβουμε μέρος αυτής της θεωρίας και να δούμε πώς εφαρμόζεται και τα αποτελέσματα που μπορούμε να οδηγήσουμε σε πραγματικούς πελάτες και έτσι μπορείτε να δείτε μερικά στη διαφάνεια, θέλω να μιλήσω για τα αποτελέσματα που θα μπορέσουμε να δούμε σε αναλυτικές πιθανές βελτιώσεις. Για να παρακινήσουμε τη συζήτηση, πρόκειται να μιλήσουμε για το πώς φτάνουν εκεί. Έτσι είμαι τυχερός να έρθω να δουλέψω πολύ στενά με πολλούς πολύ έξυπους ανθρώπους, αυτούς τους πελάτες και θέλω απλώς να επισημάνω μερικούς που μπόρεσαν πραγματικά να μετρήσουν και να μιλήσω για το πώς η ύπαρξη ενός καταλόγου δεδομένων επηρέασε τον αναλυτή τους ροή εργασίας. Και για να μείνω σύντομα στο μέτωπο, νομίζω ότι ένα από τα πράγματα που βλέπουμε αλλάζει, με καταλόγους δεδομένων στίχους προηγουμένως μεσολαβούμενες λύσεις και έναν από τους τρόπους που πραγματικά σκέφτονται οι σχέσεις σχετικά με τις λύσεις που έχουμε συγκεντρώσει, είναι να ξεκινήσουμε από τους αναλυτές και να εργαστείτε προς τα πίσω. Για να πούμε, επιτρέψτε να κάνετε αυτό για να ενεργοποιήσετε την παραγωγικότητα των αναλυτών. Σε αντίθεση με τη συμμόρφωση ή απλώς με την απογραφή, κάνουμε ένα εργαλείο που κάνει τους αναλυτές πιο παραγωγικούς.
Έτσι, όταν μιλάω με έναν επιστήμονα δεδομένων στην πλατεία της εταιρείας χρηματοπιστωτικών υπηρεσιών, υπάρχει ένας άντρας, ο Nick, ο οποίος μας έλεγε για το πώς του, έβγαινε αρκετές ώρες για να βρει το σωστό σύνολο δεδομένων για να ξεκινήσει μια έκθεση, τώρα μπορεί το κάνουμε αυτό μέσα σε λίγα δευτερόλεπτα χρησιμοποιώντας την αναζήτηση στο μερίδιο αγοράς, μιλήσαμε με τον ΚΟΤ τους που τράβηξε τους αναλυτές που χρησιμοποιούσαν την πλατεία, με συγχωρείτε, χρησιμοποιούσαν το Alation, για να μάθουν τι τους, ποια οφέλη είδαν και αναφέρουν 50 αύξηση του ποσοστού αύξησης της παραγωγικότητας και ότι ένας από τους κορυφαίους λιανοπωλητές στον κόσμο, το eBay, έχει πάνω από χίλιους ανθρώπους που κάνουν αναλύσεις SQL σε τακτική βάση και εργάζομαι πολύ στενά με τον Deb Says εκεί, ποιος είναι το έργο διευθυντής στην ομάδα εργαλείων δεδομένων τους και διαπίστωσε ότι όταν οι ερωτηθέντες υιοθετούν Alation, υιοθετούν έναν κατάλογο, βλέπουν διπλάσια την ταχύτητα γραφής νέων ερωτημάτων σε σχέση με τη βάση δεδομένων.
Αυτά είναι πραγματικά αποτελέσματα, αυτοί είναι άνθρωποι που εφαρμόζουν τον κατάλογο στην οργάνωσή τους και θέλω να σας οδηγήσω σε ό, τι χρειάζεται για να το εγκαταστήσετε. Ο τρόπος με τον οποίο καταρτίζεται ένας κατάλογος σε μια εταιρεία και ίσως το πιο σημαντικό πράγμα που λέει είναι ότι πολλά συμβαίνουν αυτομάτως, έτσι ο Dez ζήτησε τα συστήματα, μάθαινε για τα συστήματα και αυτό ακριβώς κάνει ένας σύγχρονος κατάλογος δεδομένων. Έτσι εγκαθιστούν το Alation στο κέντρο δεδομένων τους και στη συνέχεια το συνδέουν με διάφορες πηγές μεταδεδομένων στο περιβάλλον των δεδομένων τους. Θα επικεντρωθώ λίγο στις βάσεις δεδομένων και τα εργαλεία BI - και από τα δύο αυτά θα βγάλουμε τεχνικά μεταδεδομένα, βασικά για το τι υπάρχει. Ακριβώς, τι τραπέζια; Τι αναφορές; Ποιοι είναι οι ορισμοί της αναφοράς; Έτσι εξάγουν αυτά τα τεχνικά μεταδεδομένα και δημιουργείται αυτόματα μια σελίδα καταλόγου για κάθε αντικείμενο μέσα σε αυτά τα συστήματα και στη συνέχεια εξαγάγουν και στοιβάζονται πάνω από τα τεχνικά μεταδεδομένα και στρώνονται πάνω από τα δεδομένα χρήσης. Αυτό γίνεται κυρίως με την ανάγνωση των αρχείων καταγραφής ερωτημάτων από τη βάση δεδομένων και αυτή είναι μια πολύ ενδιαφέρουσα πηγή πληροφοριών. Επομένως, κάθε φορά που ένας αναλυτής γράφει ένα ερώτημα, κάθε φορά που ένα εργαλείο αναφοράς, ανεξάρτητα από το εάν είναι στο σπίτι του ή έξω από το ράφι, αν ένα εργαλείο αναφοράς τρέχει ένα ερώτημα για την ενημέρωση του πίνακα ελέγχου, όταν μια εφαρμογή εκτελεί ένα ερώτημα για να εισάγει δεδομένα ένα σύνολο δεδομένων - όλα αυτά τα πράγματα καταγράφονται σε αρχεία καταγραφής ερωτημάτων βάσης δεδομένων. Είτε έχετε έναν κατάλογο είτε όχι, καταγράφονται στο αρχείο καταγραφής ερωτημάτων με τη βάση δεδομένων. Τι μπορεί να κάνει ένας κατάλογος δεδομένων και ειδικά τι μπορεί να κάνει ο κατάλογος των Alations, διαβάζει αυτά τα αρχεία καταγραφής, ρωτά τα ερωτήματα μέσα σε αυτά και δημιουργεί ένα πραγματικά ενδιαφέρον γράφημα χρήσης με βάση αυτά τα αρχεία καταγραφής και το φέρνουμε στο παιχνίδι για να ενημερώσουμε τους μελλοντικούς χρήστες των δεδομένων σχετικά με το πώς τα χρησιμοποίησαν οι παλαιότεροι χρήστες των δεδομένων.
Έτσι, συγκεντρώσαμε όλες αυτές τις γνώσεις σε έναν κατάλογο, και απλώς σε αυτό το πραγματικό, αυτές είναι οι ενοποιήσεις που έχουν ήδη αναπτυχθεί στους πελάτες, έτσι έχουμε δει την Oracle, την Teradata, την Redshift, τη Vertica και μια δέσμη άλλων σχεσιακές βάσεις δεδομένων. Στον κόσμο του Hadoop, υπάρχει μια σειρά SQL στο Hadoop, ένα είδος σχεσιακών, μετα-καταστημάτων πάνω από το σύστημα αρχείων Hadoop, Impala, Tez, Presto και Hive. Επίσης, έχουμε δει επιτυχία με ιδιωτικούς παρόχους cloud Hadoop όπως η Altiscale και εμείς έχουν επίσης τη δυνατότητα να συνδεθούν με τους εξυπηρετητές Tableau, τους διακομιστές MicroStrategy και να ευρετηριάσουν τα dashboards εκεί, καθώς και τις ενσωματώσεις με τα εργαλεία χαρτογράφησης επιστημών δεδομένων όπως το Plotly.
Συνδέουμε λοιπόν όλα αυτά τα συστήματα, συνδέσαμε τα συστήματα αυτά με τους πελάτες, έχουμε τραβήξει τα τεχνικά μεταδεδομένα, έχουμε τραβήξει τα δεδομένα χρήσης και εμείς κάναμε αυτόματη εκκίνηση του καταλόγου δεδομένων, αλλά κατ 'αυτόν τον τρόπο, εμείς συγκεντρώνοντας τις γνώσεις, αλλά απλώς συγκεντρώνοντας τα πράγματα σε έναν κατάλογο δεδομένων, δεν παρέχει από μόνο του αυτές τις πραγματικά θαυμάσιες παραγωγικότητες που μιλήσαμε για το eBay, το Square και το μερίδιο αγοράς. Για να γίνει αυτό, πρέπει πραγματικά να αλλάξουμε τον τρόπο που σκεφτόμαστε για την παροχή γνώσεων στους αναλυτές. Μία από τις ερωτήσεις που ζητούν να προετοιμαστούν γι 'αυτό ήταν: "Πώς επηρεάζει ο κατάλογος η πραγματική ροή εργασίας ενός αναλυτή;"
Αυτό είναι που ξοδεύουμε όλη την ημέρα να σκεφτόμαστε και, για να μιλήσουμε για αυτή την αλλαγή στη σκέψη, για ένα σπρώχνοντας στίχους ενός μοντέλου έλξης, ήθελα να κάνω μια γρήγορη αναλογία με το τι ήταν ο κόσμος πριν και μετά την ανάγνωση σε ένα Kindle. Έτσι είναι απλώς μια εμπειρία που μερικοί από σας μπορεί να έχουν, όταν διαβάζετε ένα φυσικό βιβλίο, συναντάτε μια λέξη, δεν είστε σίγουροι ότι γνωρίζετε τον ορισμό αυτής της λέξης πολύ καλά, μπορείτε μάλλον να το μαντέψετε από το con, όχι πολύ πιθανό ότι εσείς πρόκειται να σηκωθούν από τον καναπέ, να περπατήσουν στο ράφι σας, να βρουν το λεξικό σας, να τα ξεσκονίσουν και να γυρίσουν στη σωστή θέση με την αλφαβητική λίστα των λέξεων για να βεβαιωθούν ότι, ναι, είχατε τον ορισμό αυτό σωστό και ξέρετε τις αποχρώσεις του. Έτσι δεν συμβαίνει πραγματικά. Έτσι αγοράζετε μια εφαρμογή Kindle και αρχίζετε να διαβάζετε βιβλία εκεί, και βλέπετε μια λέξη που δεν είστε απόλυτα σίγουροι και αγγίζετε τη λέξη. Ξαφνικά, ακριβώς στην ίδια οθόνη, είναι ο λεξικό ορισμός της λέξης, με όλες τις αποχρώσεις της, διαφορετικά παραδείγματα χρήσεων, και σπρώχνετε λίγο και παίρνετε ένα άρθρο της Wikipedia για το θέμα αυτό, σπρώξτε ξανά, παίρνετε ένα μεταφραστικό εργαλείο το οποίο μπορεί να μεταφράσει σε άλλες γλώσσες ή από άλλες γλώσσες, και ξαφνικά η γνώση σας για τη γλώσσα είναι πολύ πιο πλούσια και συμβαίνει απλά μια εκπληκτική σειρά φορές, σε σύγκριση με όταν έπρεπε να πάτε και τραβήξτε τον πόρο για τον εαυτό σας.
Επομένως, αυτό που πρόκειται να υποστηρίξω είναι ότι η ροή εργασίας για έναν αναλυτή και ο τρόπος με τον οποίο ένας αναλυτής θα ασχοληθεί με την τεκμηρίωση δεδομένων είναι στην πραγματικότητα πολύ παρόμοιος με τον τρόπο με τον οποίο ο αναγνώστης θα αλληλεπιδρά με το λεξικό, είτε πρόκειται για φυσικό είτε για το φυσικό Kindle, κι έτσι αυτό που εμείς, ο τρόπος που πραγματικά είδαμε αυτή την αύξηση της παραγωγικότητας, δεν είναι να χυθεί ο κατάλογος αλλά να συνδεθεί με τη ροή εργασίας του αναλυτή και έτσι μου ζήτησαν να κάνω ένα demo εδώ και θέλω για να γίνει αυτό το επίκεντρο αυτής της παρουσίασης. Αλλά θέλω μόνο να δημιουργήσω το con για το demo. Όταν σκεφτόμαστε να προωθούμε τη γνώση των δεδομένων στους χρήστες όταν το χρειάζονται, πιστεύουμε ότι το σωστό μέρος για να το κάνουμε αυτό, ο τόπος όπου ξοδεύουν το χρόνο τους και πού κάνουν την ανάλυση, είναι ένα ερώτημα SQL εργαλείο. Ένα μέρος όπου γράφετε και τρέχετε ερωτήματα SQL. Και έτσι χτίσαμε ένα και το χτίσαμε και το πράγμα που είναι πραγματικά διαφορετικό από τα άλλα εργαλεία αναζήτησης είναι η βαθιά ενσωμάτωσή του στον κατάλογο δεδομένων.
Επομένως, το εργαλείο ερώτησής μας ονομάζεται Alation Compose. Ένα εργαλείο ερωτημάτων που βασίζεται στο διαδίκτυο και ο ασθενής σας το δείχνουν σε ένα δευτερόλεπτο. Ένα εργαλείο ερωτήσεων που βασίζεται σε ιστό και λειτουργεί σε όλα τα λογότυπα των βάσεων δεδομένων που έχετε δει στην προηγούμενη διαφάνεια. Αυτό που πρόκειται να προσπαθήσω να δοκιμάσω ειδικότερα είναι ο τρόπος με τον οποίο οι πληροφορίες του καταλόγου έρχονται στους χρήστες. Και το κάνει μέσω αυτών των τριών διαφορετικών τρόπων. Αυτό γίνεται μέσω παρεμβάσεων και εκεί όπου κάποιος που είναι κυβερνήτης δεδομένων ή διαχειριστής δεδομένων ή κάποιος διαχειριστής κάποιου τρόπου ή ένας διαχειριστής μπορεί να πει «θέλω να παρεμβληθεί με ένα σημείωμα ή μια προειδοποίηση τη ροή εργασίας και βεβαιωθείτε ότι παραδόθηκε στους χρήστες την κατάλληλη στιγμή. "Γι 'αυτό μια παρέμβαση και καλά δείχνουν ότι.
Οι έξυπνες προτάσεις είναι ένας τρόπος με τον οποίο το εργαλείο χρησιμοποιεί όλες τις συγκεντρωτικές γνώσεις του στον κατάλογο για να προτείνει αντικείμενα και μέρη ενός ερωτήματος όπως εσείς γράφετε. Το πιο σημαντικό πράγμα που πρέπει να γνωρίζουμε είναι ότι πραγματικά εκμεταλλεύεται το αρχείο καταγραφής επερωτήσεων για να το κάνει αυτό, να προτείνει τα πράγματα με βάση τη χρήση και επίσης να βρει ακόμη και τμήματα ερωτημάτων που έχουν γραφτεί πριν. Και δείξτε καλά αυτό.
Και στη συνέχεια προεπισκόπηση. Οι προεπισκοπήσεις είναι, όπως πληκτρολογείτε στο όνομα ενός αντικειμένου, σας παρουσιάζουμε όλα όσα γνωρίζει ο κατάλογος ή τουλάχιστον τα πιο σχετικά πράγματα που ο κατάλογος γνωρίζει για αυτό το αντικείμενο. Έτσι δείγματα των δεδομένων που το χρησιμοποιούσαν πριν, το λογικό όνομα και η περιγραφή αυτού του αντικειμένου, όλα έρχονται σε εσάς ενώ εσείς γράφετε χωρίς να χρειάζεται να το ζητήσετε.
Έτσι, χωρίς να μιλάμε πια, θα πάω στο demo και Im απλά περιμένω να εμφανιστεί. Αυτό που πρόκειται να σας δείξω εδώ είναι το εργαλείο επερωτήσεων. Είναι μια ειδική διεπαφή γραφής SQL. Ξεχωριστή διεπαφή του από τον κατάλογο, με μια ορισμένη έννοια. Ο Dez και ο Robin μίλησαν για τον κατάλογο και Im άλμα λίγο πάνω από τη διασύνδεση του καταλόγου κατευθείαν με τον τρόπο με τον οποίο έφερε απευθείας στην υπηρεσία της ροής εργασίας.
Εμφανίζω απλά εδώ ένα μέρος όπου μπορώ να πληκτρολογήσω SQL, και στο κάτω μέρος θα δείτε ότι έχουμε κάποιες πληροφορίες που εμφανίζονται σχετικά με τα αντικείμενα που αναφέρονται. Έτσι, Im ακριβώς θα αρχίσω να πληκτρολογώ ένα ερώτημα και θα σταματήσω όταν φτάσω σε μία από αυτές τις παρεμβάσεις. Έτσι άρρωστος τύπου "επιλέξτε", και θέλω το έτος. Θέλω το όνομα. Και θα εξετάσω κάποια στοιχεία μισθών. Επομένως, πρόκειται για ένα εκπαιδευτικό σύνολο δεδομένων. Έχει πληροφορίες σχετικά με τα ιδρύματα τριτοβάθμιας εκπαίδευσης, και Im εξετάζοντας το μέσο όρο μισθών καθηγητών thats σε ένα από αυτά τα τραπέζια.
Έτσι, έγραψα στην πραγματικότητα τη λέξη "μισθός". Δεν είναι ακριβώς στο όνομα της στήλης με αυτόν τον τρόπο. Χρησιμοποιούμε τόσο τα λογικά μεταδεδομένα όσο και τα φυσικά μεταδεδομένα για να κάνουμε προτάσεις. Και αυτό που θέλω να επισημάνω εδώ είναι αυτό το κίτρινο κουτί που εμφανίζεται εδώ. Λέει ότι υπάρχει μια προειδοποίηση σε αυτή τη στήλη. Δεν πήγα να ψάξω για αυτό, δεν πήρα μια τάξη για το πώς να χρησιμοποιήσει αυτά τα δεδομένα σωστά. Ήρθε σε με, και συμβαίνει να είναι μια προειδοποίηση σχετικά με μια συμφωνία εμπιστευτικότητας που έχει να κάνει με αυτά τα δεδομένα. Έτσι, υπάρχουν ορισμένοι κανόνες γνωστοποίησης. Αν πρόκειται να ερωτήσω αυτά τα δεδομένα, θα πάρω δεδομένα από αυτό το τραπέζι, θα πρέπει να είμαι προσεκτικός για το πώς αποκαλύπτω. Έτσι, έχετε εδώ μια πολιτική διακυβέρνησης. Υπάρχουν ορισμένες προκλήσεις συμμόρφωσης που το καθιστούν πολύ πιο εύκολο να συμμορφωθούν με αυτή την πολιτική όταν το ξέρω σχετικά με την εποχή που εξετάζω τα δεδομένα.
Έτσι Ive πήρε ότι έρχεται σε μένα, και στη συνέχεια Im επίσης θα εξετάσουμε τα δίδακτρα. Και εδώ βλέπουμε να εμφανίζονται οι προεπισκοπήσεις. Σε αυτή τη στήλη δίδακης - βλέπω μια στήλη διδάκτρων στο τραπέζι του ιδρύματος και Im βλέπω ένα προφίλ αυτού. Ο Alation πηγαίνει και τραβά δείγματα από τα τραπέζια, και σε αυτή την περίπτωση, μου δείχνει κάτι που είναι αρκετά ενδιαφέρον. Η μου δείχνει τη διανομή των τιμών και μου δείχνει ότι η μηδενική τιμή εμφανίστηκε 45 φορές στο δείγμα και περισσότερο από οποιαδήποτε άλλη τιμή. Έχω λοιπόν κάποια νόημα να χάσουμε κάποια στοιχεία.
Αν Im ένας προηγμένος αναλυτής, τότε αυτό μπορεί να είναι μέρος της ροής εργασίας μου ήδη. Ιδιαίτερα αν το Im είναι ιδιαίτερα σχολαστικό, όπου θα έκανα μια δέσμη ερωτημάτων προφίλ πριν από καιρό. Όποτε η Im πλησιάζει σε ένα νέο κομμάτι δεδομένων, πάντα σκέφτομαι ποια είναι η κάλυψη των δεδομένων μας. Αλλά αν είμαι νέος στην ανάλυση δεδομένων, αν Im νέο σε αυτό το σύνολο δεδομένων, θα μπορούσα να υποθέσω ότι αν υπάρχει μια στήλη, συμπληρώνεται όλη την ώρα. Ή θα μπορούσα να υποθέσω ότι αν δεν συμπληρωθεί, δεν είναι μηδέν, η μηδενική του ή κάτι τέτοιο. Αλλά σε αυτή την περίπτωση, έχουμε πολλά μηδενικά και αν έκανα έναν μέσο όρο, πιθανότατα θα ήταν λάθος, αν υποθέτω ότι τα μηδενικά ήταν στην πραγματικότητα μηδενικά αντί να λείπουν δεδομένα.
Αλλά Alation, φέρνοντας αυτή την προεπισκόπηση στη ροή εργασίας σας, σας ζητά να ρίξετε μια ματιά σε αυτές τις πληροφορίες και δίνει ακόμη και ένα είδος αρχάριων αναλυτές μια ευκαιρία να δουν ότι theres κάτι για να παρατηρήσετε εδώ για αυτά τα δεδομένα. Έτσι έχουμε αυτή την προεπισκόπηση.
Το επόμενο πράγμα που πρόκειται να κάνω είναι Im να προσπαθήσω να μάθω ποια τραπέζια για να πάρω αυτές τις πληροφορίες από. Έτσι, εδώ βλέπουμε τις έξυπνες προτάσεις. Πέρασε όλη την ώρα, αλλά ειδικά εδώ, δεν έχω πληκτρολογήσει τίποτα, αλλά θα μου πρότεινε ποια τραπέζια θα ήθελα να χρησιμοποιήσω για αυτό το ερώτημα. Και το πιο σημαντικό πράγμα που πρέπει να γνωρίζετε είναι ότι εκμεταλλεύεται τα στατιστικά στοιχεία χρήσης. Έτσι, σε ένα περιβάλλον όπως το eBay, όπου έχετε εκατοντάδες χιλιάδες πίνακες σε μια ενιαία βάση δεδομένων, διαθέτοντας ένα εργαλείο που μπορεί να χτυπήσει το σιτάρι από τη σίκαλη και χρησιμοποιώντας αυτά τα στατιστικά στοιχεία χρήσης, είναι πραγματικά σημαντικό για την κατασκευή αυτών προτάσεις που αξίζουν κάτι.
Έτσι θα προτείνει αυτό το τραπέζι. Όταν κοιτάζω την προεπισκόπηση, επισημαίνουμε τρεις από τις στήλες που ανέφερα ήδη στο ερώτημά μου. Γνωρίζω λοιπόν ότι πήρε τρία, αλλά δεν έχει το όνομα. Πρέπει να πάρω το όνομα, έτσι Im πρόκειται να κάνει μια ένωση. Όταν κάνω μια ένωση, τώρα πάλι έχω αυτές τις προεπισκοπήσεις για να με βοηθήσει να βρω, πού είναι το τραπέζι με το όνομα. Γι 'αυτό βλέπω ότι αυτό έχει ένα όμορφα διαμορφωμένο, είδος σωστά κεφαλαιοποιημένο όνομα. Φαίνεται να έχει μια σειρά με ένα όνομα για κάθε ίδρυμα, οπότε Im πρόκειται να αρπάξει αυτό, και τώρα χρειάζομαι έναν όρο join.
Και έτσι, αυτό που κάνει το Alation είναι και πάλι κοιτάζοντας πίσω στα αρχεία καταγραφής ερωτημάτων, βλέποντας προηγούμενους χρόνους ότι αυτά τα δύο τραπέζια έχουν ενωθεί, και προτείνουν διαφορετικούς τρόπους να τους ενώσουν. Για άλλη μια φορά, υπάρχει κάποια παρέμβαση. Αν κοιτάξω ένα από αυτά, έχει μια προειδοποίηση που μου δείχνει ότι αυτό πρέπει να χρησιμοποιηθεί μόνο για συνολική ανάλυση. Το Itll πιθανότατα παράγει το λάθος πράγμα εάν προσπαθείτε να κάνετε κάτι μέσω του θεσμικού οργάνου με βάση το θεσμικό όργανο. Ενώ αυτό, με το OPE ID, θεωρείται ως ο σωστός τρόπος για να ενταχθούν σε αυτούς τους δύο πίνακες αν θέλετε δεδομένα πανεπιστημιακού επιπέδου. Έτσι το κάνω αυτό και το σύντομο ερώτημά μου, αλλά έγραψα το ερώτημά μου χωρίς να έχω αναγκαστικά καμία γνώση για τα δεδομένα. Δεν έχω δει ποτέ πραγματικά ένα διάγραμμα ER αυτού του συνόλου δεδομένων, αλλά γνωρίζω πολλά για αυτά τα δεδομένα ήδη επειδή οι σχετικές πληροφορίες έρχονται σε μένα.
Αυτά είναι λοιπόν οι τρεις τρόποι με τους οποίους ένας κατάλογος μπορεί, μέσω ενός ολοκληρωμένου εργαλείου ερωτήματος, να επηρεάσει άμεσα τη ροή εργασίας καθώς εσείς γράφετε ερωτήματα. Αλλά ένα από τα άλλα πλεονεκτήματα της ύπαρξης ενός ερωτηματολογίου ενοποιημένου με έναν κατάλογο είναι ότι όταν τελειώσω το ερώτημά μου και το αποθηκεύσω, μπορώ να βάλω έναν τίτλο όπως το "Φροντιστήριο του Ιδρύματος και το μισθό του Τμήματος" και στη συνέχεια έχω ένα κουμπί εδώ που μου επιτρέπει να το δημοσιεύσω στον κατάλογο. Γίνεται πολύ εύκολο για μένα να το τροφοδοτήσω πίσω. Ακόμη και αν δεν το δημοσιεύσω, αυτό θα καταγραφεί ως μέρος του αρχείου καταγραφής ερωτημάτων, αλλά όταν το δημοσιεύω, γίνεται πραγματικά μέρος του τρόπου με τον κεντρικό χώρο όπου ζουν όλες οι γνώσεις δεδομένων.
Έτσι, αν κάνω κλικ στο κουμπί Αναζήτηση για όλα τα ερωτήματα στο Alation, πρόκειται να ληφθεί - και εδώ θα δείτε μερικά περισσότερα από το περιβάλλον του καταλόγου - Im ληφθεί μια ειδική έρευνα ερωτήματος που μου δείχνει έναν τρόπο για να βρείτε ερωτήματα σε ολόκληρο τον οργανισμό. Και βλέπετε ότι το πρόσφατα δημοσιευμένο ερώτημα μου βρίσκεται στην κορυφή. Και μερικοί μπορεί να παρατηρήσουν εδώ, καθώς συλλαμβάνουμε τα ερωτήματα, καταγράφουμε επίσης τους συγγραφείς και κάπως δημιουργούμε αυτή τη σχέση μεταξύ μου ως συγγραφέα και αυτά τα αντικείμενα δεδομένων για τα οποία γνωρίζω τώρα κάτι. Και Im που καθιερώθηκε ως εμπειρογνώμονας σε αυτό το ερώτημα και σε αυτά τα αντικείμενα δεδομένων. Αυτό είναι πραγματικά χρήσιμο όταν οι άνθρωποι πρέπει να πάνε να μάθουν για τα δεδομένα, τότε μπορούν να πάνε να βρουν το σωστό πρόσωπο για να πάει να μάθουν. Και αν Im πραγματικά νέο για τα δεδομένα, αν είναι ένας προηγμένος αναλυτής - ως προηγμένος αναλυτής, θα μπορούσα να το εξετάσω αυτό και να δούμε μια δέσμη των παραδειγμάτων που θα με ξεκινήσει σε ένα νέο σύνολο δεδομένων. Ως κάποιος που μπορεί να μην αισθάνεται super savvy με SQL, μπορώ να βρω προκαταρκτικά ερωτήματα που είναι αναφορές που μπορώ να επωφεληθώ.
Είμαστε ένας από τον Phil Mazanett για τα μεσαία αποτελέσματα SAT. Κάντε κλικ σε αυτό και παίρνω ένα είδος σελίδας καταλόγου για το ίδιο το ερώτημα. Μιλάει για ένα άρθρο που γράφτηκε που αναφέρει αυτό το ερώτημα, έτσι ώστε να υπάρχει κάποια τεκμηρίωση για μένα να διαβάσω εάν θέλω να μάθω πώς να το χρησιμοποιήσω. Και μπορώ να το ανοίξω στο εργαλείο ερώτησης κάνοντας κλικ στο κουμπί Σύνθεση και μπορώ να το εκτελέσω μόνο εδώ χωρίς καν να το επεξεργαστώ. Και στην πραγματικότητα, μπορείτε να δείτε λίγα από τα ελαφριά μας δυνατότητες αναφοράς, όπου, όταν γράφετε ένα ερώτημα, μπορείτε να ρίξετε μια μεταβλητή προτύπου όπως αυτή και δημιουργεί έναν απλό τρόπο δημιουργίας μιας φόρμας για να εκτελέσετε ένα ερώτημα βασισμένο σε μερικές παραμέτρους.
Αυτός είναι ο λόγος που έχω για το demo. Πάω να γυρίσω πίσω στις διαφάνειες.Ακριβώς σε είδος ανακεφαλαίωσης, δείξαμε πώς ένας διαχειριστής, ένας κυβερνήτης δεδομένων, μπορεί να παρέμβει τοποθετώντας προειδοποιήσεις σε αντικείμενα που εμφανίζονται στο εργαλείο ερώτησης, πώς ο Alation χρησιμοποιεί τις γνώσεις του για τη χρήση αντικειμένων δεδομένων για να κάνει έξυπνες προτάσεις, πώς φέρνει σε προφίλ και άλλες συμβουλές για τη βελτίωση των ροών εργασίας των αναλυτών όταν αγγίζουν συγκεκριμένα αντικείμενα και πώς όλα αυτά τα είδη τροφοδοτούνται πίσω στον κατάλογο όταν δημιουργούνται νέα ερωτήματα.
Προφανώς είμαι εκπρόσωπος εκ μέρους της εταιρείας. Θα πω ωραία πράγματα για τους καταλόγους δεδομένων. Εάν θέλετε να ακούσετε απευθείας από κάποιον από τους πελάτες μας, η Kristie Allen στο Safeway τρέχει μια ομάδα αναλυτών και έχει μια πολύ ωραία ιστορία για μια εποχή που χρειάστηκε να χτυπήσει πραγματικά το ρολόι για να δώσει ένα πείραμα μάρκετινγκ και πώς το σύνολο η ομάδα χρησιμοποίησε το Alation για να συνεργαστεί και να γυρίσει πολύ γρήγορα σε αυτό το έργο. Έτσι μπορείτε να ακολουθήσετε αυτόν τον σύνδεσμο bit.ly για να ελέγξετε την ιστορία ή αν θέλετε να ακούσετε λίγο πώς ο Alation θα μπορούσε να φέρει έναν κατάλογο δεδομένων στον οργανισμό σας, είμαστε στην ευχάριστη θέση να δημιουργήσουμε μια εξατομικευμένη επίδειξη. Ευχαριστώ πολύ.
Rebecca Jozwiak: Ευχαριστώ πολύ, Δαβίδ. Είμαι βέβαιος ότι ο Dez και ο Robin έχουν μερικές ερωτήσεις πριν γυρίσω στο ακροατήριο Q & A. Dez, θέλετε να πάτε πρώτα;
Dez Blanchfield: Απολύτως. Λατρεύω την ιδέα αυτής της έννοιας των δημοσιευμένων ερωτημάτων και τη σύνδεσή της πίσω στην πηγή της συγγραφής. Είμαι ένας μακροπρόθεσμος πρωταθλητής αυτής της ιδέας ενός εσωτερικού καταστήματος εφαρμογών και νομίζω ότι αυτό είναι ένα πραγματικά σπουδαίο υπόβαθρο για να το αξιοποιήσουμε.
Ήρθα στο είδος να πάρετε κάποια εικόνα για ορισμένες από τις οργανώσεις που βλέπετε να κάνετε αυτό, και μερικές από τις επιτυχίες που μπορεί να είχαν με όλο αυτό το ταξίδι όχι μόνο μόχλευση εργαλείο και πλατφόρμα σας για να ανακαλύψετε τα δεδομένα, αλλά και τότε μετασχηματίζουν τα εσωτερικά τους πολιτιστικά και συμπεριφορικά χαρακτηριστικά. Τώρα έχοντας αυτό το είδος του εσωτερικού καταστήματος εφαρμογών όπου μπορείτε ακριβώς να κατεβάσετε, την ιδέα όπου μπορούν όχι μόνο να το βρείτε, αλλά μπορούν πραγματικά να αρχίσουν να αναπτύσσουν μικρές κοινότητες με τους κατόχους της γνώσης.
David Crawford: Ναι, νομίζω ότι είμαστε έκπληκτοι. Πιστεύουμε στην αξία της ανταλλαγής ερωτημάτων τόσο από το παρελθόν μου ως διαχειριστή προϊόντων στην Adtech όσο και από όλους τους πελάτες με τους οποίους συζητήσαμε, αλλά εξακολουθώ να είμαι έκπληκτος για το πόσο συχνά είναι ένα από τα πρώτα πράγματα που οι πελάτες μιλάνε αξία που βγαίνουν από το Alation.
Έκανα κάποιες δοκιμές χρηστών του εργαλείου επερωτήσεων σε έναν από τους πελάτες μας που ονομάζονταν Invoice2go και είχαν έναν υπεύθυνο προϊόντων που ήταν σχετικά νέος και είπαν - μου είπε πραγματικά, χωρίς προειδοποίηση κατά τη διάρκεια της δοκιμής χρήστη, «δεν ήθελα να γράφω SQL, εκτός από το γεγονός ότι έγινε εύκολο από την Alation. "Και φυσικά, όπως το PM, πηγαίνω κάπως," Τι εννοείς, πώς το κάναμε αυτό; "Και είπε:" Λοιπόν, πραγματικά ακριβώς επειδή μπορεί να συνδεθεί και μπορώ να δω όλα αυτά τα υπάρχοντα ερωτήματα. "Ξεκινώντας με μια κενή πλατφόρμα με SQL είναι ένα απίστευτα σκληρό πράγμα που πρέπει να κάνετε, αλλά τροποποιώντας ένα υπάρχον ερώτημα όπου μπορείτε να δείτε το αποτέλεσμα που βγαίνει και μπορείτε να πείτε:" Ω , Χρειάζομαι μόνο αυτή την πρόσθετη στήλη "ή" πρέπει να το φιλτράρω σε ένα συγκεκριμένο εύρος ημερομηνιών ", αυτό είναι ένα πολύ πιο εύκολο πράγμα που πρέπει να κάνετε.
Έχουμε δει κάποιους από αυτούς τους βοηθητικούς ρόλους, όπως τους διαχειριστές προϊόντων, ίσως τους ανθρώπους στις πωλήσεις, οι οποίοι αρχίζουν να αναλαμβάνουν και που πάντα ήθελαν να μάθουν SQL και να αρχίσουν να το παραλαμβάνουν χρησιμοποιώντας αυτόν τον κατάλογο. Έχουμε επίσης δει ότι πολλές εταιρείες προσπάθησαν να κάνουν ανοιχτή πηγή. Προσπάθησα να οικοδομήσω αυτά τα πράγματα εσωτερικά, όπου εντοπίζουν τα ερωτήματα και τα καθιστούν διαθέσιμα, και υπάρχουν κάποιες πραγματικά πολύ δύσκολες σχεδιαστικές προκλήσεις για να γίνουν χρήσιμες. είχε ένα εσωτερικό εργαλείο που ονομάζονταν HiPal, το οποίο κατέλαβε όλες τις ερωτήσεις που έγιναν στην κυψέλη, αλλά αυτό που διαπιστώσατε είναι ότι αν δεν ωθήσετε τους χρήστες με τον σωστό τρόπο καταλήγετε σε μια πολύ μεγάλη λίστα επιλεγμένων δηλώσεων. Και ως χρήστης που προσπαθεί να καταλάβει εάν ένα ερώτημα είναι χρήσιμο για μένα ή αν το καλό του, αν πάω να κοιτάξω μέσα σε μια μακρά λίστα επιλεγμένων δηλώσεων, θα με πάρει πολύ περισσότερο για να πάρω κάτι από την αξία εκεί από ξεκινώντας από το μηδέν. Σκεφτήκαμε πολύ προσεκτικά για το πώς να φτιάξουμε έναν κατάλογο ερωτήσεων που φέρνει τα σωστά πράγματα μπροστά και τα παρέχει με έναν χρήσιμο τρόπο.
Dez Blanchfield: Νομίζω ότι όλοι περάσαμε από το ταξίδι μας από πολύ μικρή ηλικία, μέχρι την ενηλικίωση, με πολλούς τρόπους. Μια δέσμη τεχνολογιών. Εγώ, προσωπικά τον εαυτό μου, έχω περάσει από αυτό το ίδιο γνήσιο πράγμα, όπως, μαθαίνοντας να κόψω τον κώδικα. Θα περάσω από περιοδικά και έπειτα από βιβλία και θα σπουδάσω σε ένα ορισμένο επίπεδο και στη συνέχεια έπρεπε να πάω και στην πραγματικότητα να πάρω κάποια περισσότερη εκπαίδευση και εκπαίδευση σε αυτό.
Αλλά κατά λάθος διαπίστωσα ότι ακόμη και όταν πήγαινα από το να διδάσκω τον εαυτό μου και να διαβάζω περιοδικά και να διαβάζω βιβλία και να κόβω τα προγράμματα άλλων λαών και να πηγαίνω σε μαθήματα πάνω σε αυτό, έμαθα ακόμα να μαθαίνω τόσο πολύ από το να κάνω τα μαθήματα όσο μόλις μίλησα με άλλα ανθρώπους που είχαν κάποιες εμπειρίες. Και νομίζω ότι είναι μια ενδιαφέρουσα ανακάλυψη ότι, τώρα που το φέρετε σε ανάλυση δεδομένων, βασικά βλέπατε τον ίδιο παράλληλο, ότι τα ανθρώπινα όντα είναι πάντα αρκετά έξυπνα.
Το άλλο πράγμα που πραγματικά ενδιαφέρομαι να καταλάβω είναι ότι σε πολύ υψηλό επίπεδο πολλοί οργανισμοί πρόκειται να ρωτήσουν: "Πόσο καιρό χρειάζεται για να φτάσετε σε αυτό το σημείο;" Τι είναι το σημείο απόκλισης χρονικό πλαίσιο-wise όταν οι άνθρωποι παίρνουν την πλατφόρμα σας εγκαταστάθηκαν και άρχισαν να ανακαλύπτουν τους τύπους εργαλείων; Πόσο γρήγορα οι άνθρωποι απλά φαίνονται να βλέπουν αυτό το πράγμα να μετατραπεί σε μια πραγματικά άμεση "a-ha" στιγμή, όπου συνειδητοποιούν ότι δεν ανησυχούν ακόμη και για την επένδυση ROI πια γιατί εκεί, αλλά τώρα theyre στην πραγματικότητα αλλάζουν τον τρόπο που κάνουν επιχειρήσεις; Και έχουν ανακαλύψει μια χαμένη τέχνη και αναμένουν ότι μπορούν να κάνουν κάτι πραγματικά, πραγματικά διασκεδαστικό με αυτό.
David Crawford: Ναι, μπορώ να το αγγίξω λίγο. Νομίζω ότι όταν εγκατασταθούμε, ένα από τα ωραία πράγματα, ένα από τα πράγματα που οι άνθρωποι μοιάζουν με έναν κατάλογο που είναι άμεσα συνδεδεμένος στα συστήματα δεδομένων, είναι ότι δεν ξεκινάτε κενό όπου πρέπει να το γεμίσετε στη σελίδα με σελίδα. Και αυτό είναι αληθινό σε προηγούμενες λύσεις δεδομένων όπου ξεκινάτε με ένα κενό εργαλείο και πρέπει να ξεκινήσετε να δημιουργείτε μια σελίδα για όλα όσα θέλετε να τεκμηριώσετε.
Αφού τεκμηριώνουμε τόσα πολλά πράγματα αυτόματα με την εξαγωγή των μεταδεδομένων, ουσιαστικά μέσα σε λίγες μέρες από την εγκατάσταση του λογισμικού, μπορείτε να έχετε μια εικόνα του περιβάλλοντος δεδομένων σας που είναι τουλάχιστον 80 τοις εκατό εκεί στο εργαλείο. Και τότε νομίζω ότι μόλις οι άνθρωποι αρχίσουν να γράφουν ερωτήματα με το εργαλείο, αυτοί αποθηκεύονται αυτόματα πίσω στον κατάλογο, και έτσι αρχίζουν να εμφανίζονται επίσης.
Δεν θέλω να είμαι υπερβολικά πρόθυμος να το δηλώσω. Νομίζω ότι δύο εβδομάδες είναι μια αρκετά καλή συντηρητική εκτίμηση, σε ένα μήνα. Δύο εβδομάδες έως ένα μήνα, συντηρητική εκτίμηση της πραγματικής περιστροφής και αίσθηση ότι παίρνετε αξία από αυτό, όπως εσείς αρχίζετε να μοιράζεστε κάποια γνώση και να είστε σε θέση να πάτε εκεί και να μάθετε τα πράγματα για τα δεδομένα σας.
Dez Blanchfield: Είναι πολύ εκπληκτικό, πραγματικά, όταν το σκέφτεστε. Το γεγονός ότι μερικές από τις μεγάλες πλατφόρμες δεδομένων που αποτελεσματικά κάνετε την ευρετηρίαση και την καταλογογράφηση θα χρειαστούν μερικές φορές μέχρι και χρόνο για να υλοποιηθούν και να αναπτυχθούν και να σταθούν σωστά.
Η τελευταία ερώτηση που έχω για εσάς προτού αποσυρθώ στον Robin Bloor, είναι συνδετήρες. Ένα από τα πράγματα που αμέσως πέφτει σε μένα είναι youve προφανώς πήρε όλη αυτή την πρόκληση διαλυθεί. Έτσι, υπάρχει ένα ζευγάρι ερωτήσεις πολύ γρήγορα. Το πρώτο, πόσο γρήγορα εφαρμόζονται οι σύνδεσμοι; Προφανώς ξεκινάτε με τη μεγαλύτερη πλατφόρμα, όπως τα Oracles και τα Teradatas και ούτω καθεξής και τα DB2. Αλλά πόσο συχνά βλέπετε νέους συνδέσμους να έρχονται και ποιος χρόνος μετασχηματισμού παίρνει; Φαντάζομαι ότι έχετε ένα πρότυπο πλαίσιο για αυτούς. Και πόσο βαθιά είσαι σε αυτά; Για παράδειγμα, τα Oracles και IBMs του κόσμου, ακόμα και τα Tereadata, και στη συνέχεια μερικά από τα πιο δημοφιλή πλατφόρμες open-source. Εργάζονται άμεσα μαζί σας; Ανακαλύπτετε τον εαυτό σας; Πρέπει να έχετε εσωτερική γνώση σε αυτές τις πλατφόρμες;
Πώς μοιάζει να φτιάχνετε έναν σύνδεσμο και πόσο βαθιά συμμετέχετε σε αυτές τις εταιρικές σχέσεις για να εξασφαλίσετε ότι οι σύνδεσμοι ανακαλύπτουν όλα όσα μπορείτε;
David Crawford: Ναι, σίγουρα, είναι μια μεγάλη ερώτηση. Πιστεύω ότι, ως επί το πλείστον, μπορούμε να αναπτύξουμε τους συνδέσμους. Κάναμε σίγουρα όταν ήμασταν νεότεροι και δεν είχαμε πελάτες. Μπορούμε να αναπτύξουμε τις συνδέσεις σίγουρα χωρίς να χρειάζεται εσωτερική πρόσβαση. Ποτέ δεν αποκτάμε ειδική πρόσβαση στα συστήματα δεδομένων που δεν είναι διαθέσιμα στο κοινό και συχνά χωρίς να χρειάζονται εσωτερικές πληροφορίες. Χρησιμοποιούμε τις υπηρεσίες μεταδεδομένων που διατίθενται από τα ίδια τα συστήματα δεδομένων. Συχνά αυτά μπορεί να είναι αρκετά περίπλοκα και δύσκολα να εργαστούν. Γνωρίζω ειδικότερα τον SQL Server, τον τρόπο με τον οποίο διαχειρίζονται το αρχείο καταγραφής ερωτημάτων, υπάρχουν διάφορες διαφορετικές διαμορφώσεις και κάτι που πρέπει πραγματικά να εργαστείτε. Θα πρέπει να καταλάβετε τις αποχρώσεις και τα κουμπιά και τα κουμπιά σε αυτό για να το ρυθμίσετε σωστά, και αυτό είναι κάτι που εργαζόμαστε με τους πελάτες από τότε που έχουμε κάνει αρκετές φορές πριν.
Αλλά σε κάποιο βαθμό, το είδος του δημόσιου API που είναι διαθέσιμο ή οι δημόσιες διεπαφές που είναι διαθέσιμες που αξιοποιούμε. Έχουμε συνεργασίες με πολλές από αυτές τις εταιρείες, αυτό είναι ως επί το πλείστον λόγος πιστοποίησης, έτσι ώστε να αισθάνονται άνετα λέγοντας ότι δουλεύουμε και μπορούν επίσης να μας δώσουν πόρους για δοκιμές, μερικές φορές νωρίς την πρόσβαση ίσως σε μια πλατφόρμα που βγαίνει για να βεβαιωθεί δουλεύουμε στις νέες εκδόσεις.
Για να γυρίσω μια νέα σύνδεση, θα έλεγα ξανά, προσπαθώντας να είμαι συντηρητικός, αφήνω να πω έξι εβδομάδες έως δύο μήνες. Εξαρτάται από το πόσο παρόμοια είναι. Έτσι, μερικά από τα Postgre δουλεύουν σαν εμφάνιση πολύ παρόμοια με το Redshift. Η Redshift και η Vertica μοιράζονται πολλές λεπτομέρειες. Έτσι μπορούμε να εκμεταλλευτούμε αυτά τα πράγματα. Αλλά ναι, έξι εβδομάδες έως δύο μήνες θα ήταν δίκαιο.
Έχουμε επίσης API, έτσι ώστε να σκεφτόμαστε την Alation και ως πλατφόρμα μεταδεδομένων, οπότε αν δεν υπάρχουν διαθέσιμες πληροφορίες για να προσεγγίσουμε και να πιάσουμε αυτόματα, υπάρχουν τρόποι με τους οποίους μπορείτε να γράψετε τον εαυτό σας και να τον σπρώξετε στο σύστημά μας ότι όλα συγκεντρώνονται ακόμα σε μια ενιαία μηχανή αναζήτησης.
Dez Blanchfield: Φανταστικός. Εκτιμώ το γεγονός ότι. Έτσι θα το παρέδωσαν στον Robin, γιατί Im είναι βέβαιο ότι έχει και πολλά ερωτήματα. Κοκκινολαίμης?
Rebecca Jozwiak: Ο Ρόμπιν μπορεί να είναι σίγαρος.
Dez Blanchfield: Έχετε το μυαλό σας.
Robin Bloor: Ναι καλά. Δυστυχώς, εγώ απείλησα. Όταν εφαρμόζετε αυτό, ποια είναι η διαδικασία; Είμαι κάπως περίεργος γιατί μπορεί να υπάρχουν πολλά δεδομένα σε πολλά μέρη. Λοιπόν, πώς λειτουργεί αυτό;
David Crawford: Ναι σίγουρα. Πηγαίνουμε πρώτα σε μια διαδικασία IT που διασφαλίζει ότι οι διακομιστές μας παρέχονται, διασφαλίζοντας ότι υπάρχουν διαθέσιμες συνδέσεις δικτύου, ότι οι θύρες είναι ανοιχτές ώστε να μπορούμε πραγματικά να έχουμε πρόσβαση στα συστήματα. Όλοι γνωρίζουν συχνά ποια συστήματα θέλουν να ξεκινήσουν. Γνωρίζοντας μέσα σε ένα σύστημα δεδομένων, το οποίο - και μερικές φορές εμείς πραγματικά θα τους βοηθήσουμε. Καλά βοηθήστε τους να κάνουν μια αρχική ματιά στο αρχείο καταγραφής ερωτημάτων τους για να κατανοήσουν ποιοι χρησιμοποιούν το τι και πόσους χρήστες έχουν σε ένα σύστημα. Βοηθήστε λοιπόν να μάθετε πού - συχνά, εάν έχουν εκατοντάδες ή χιλιάδες ανθρώπους που μπορεί να συνδεθούν σε βάσεις δεδομένων, στην πραγματικότητα δεν γνωρίζουν πού συνδέονται, ώστε να μπορέσουμε να βρούμε από τα αρχεία ερωτημάτων πόσα μοναδικά λογαριασμούς χρηστών κάνουν έχετε πραγματικά συνδεθείτε και εκτελέσετε ερωτήματα εδώ σε ένα μήνα ή έτσι.
Έτσι μπορούμε να επωφεληθούμε από αυτό, αλλά συχνά μόνο από τις σημαντικότερες. Τους έχουμε δημιουργήσει και στη συνέχεια υπάρχει μια διαδικασία λέγοντας "Αφήνει προτεραιότητα". Υπάρχει μια σειρά από δραστηριότητες που μπορούν να συμβούν παράλληλα. Θα επικεντρωθώ στην εκπαίδευση για τη χρήση του εργαλείου επερωτήσεων. Μόλις οι άνθρωποι αρχίσουν να χρησιμοποιούν το εργαλείο ερωτήσεων, πρώτα απ 'όλα, πολλοί άνθρωποι αγαπούν το γεγονός ότι είναι απλά μια ενιαία διεπαφή με όλα τα διαφορετικά συστήματα τους. Αγαπούν επίσης το γεγονός ότι το web-based του, δεν περιλαμβάνει καμία εγκατάσταση εάν δεν το θέλουν. Από την άποψη της ασφάλειας, τους αρέσει να έχουν ένα είδος ενιαίου σημείου εισόδου, από τη σκοπιά του δικτύου, ανάμεσα σε ένα είδος τηλεπικοινωνιακού δικτύου και το κέντρο δεδομένων όπου ζουν οι πηγές δεδομένων παραγωγής. Έτσι, ο theyll δημιούργησε το Alation ως εργαλείο επερωτήσεων και άρχισε να χρησιμοποιεί το Compose ως σημείο πρόσβασης για όλα αυτά τα συστήματα.
Έτσι, από τη στιγμή που αυτό συμβαίνει, αυτό που εστιάζουμε στην εκπαίδευση είναι να κατανοήσουμε ποιες είναι οι διαφορές ανάμεσα σε ένα εργαλείο αναζήτησης που βασίζεται στο web ή σε ένα διακομιστή, σε σχέση με ένα που έχετε στην επιφάνεια εργασίας σας, καθώς και σε μερικές από τις αποχρώσεις της χρήσης αυτού. Και ταυτόχρονα, τι καλά προσπαθήστε να κάνετε είναι να εντοπίσετε τα πιο πολύτιμα δεδομένα, εκμεταλλευόμενοι και πάλι τις πληροφορίες του αρχείου ερωτημάτων και λέγοντας: "Γεια σου, ίσως θελήσετε να εισέλθετε και να βοηθήσετε τους ανθρώπους να καταλάβουν αυτά. Ας αρχίσουμε να δημοσιεύουμε αντιπροσωπευτικά ερωτήματα σε αυτά τα τραπέζια. "Αυτός είναι μερικές φορές ο πιο αποτελεσματικός τρόπος για την γρήγορη ανάκληση των ανθρώπων. Ας δούμε το δικό σας ιστορικό ερωτημάτων, δημοσιεύστε αυτά τα πράγματα έτσι ώστε να εμφανίζονται ως τα πρώτα ερωτήματα. Όταν οι άνθρωποι κοιτάζουν μια σελίδα πίνακα, μπορούν να δουν όλα τα ερωτήματα που έπληξαν αυτό το τραπέζι και μπορούν να ξεκινήσουν από εκεί. Και στη συνέχεια αφήστε να αρχίσετε να προσθέτετε τίτλους και περιγραφές σε αυτά τα αντικείμενα έτσι ώστε να είναι ευκολότερο να εντοπιστούν και να αναζητηθούν, έτσι ώστε να γνωρίζετε μερικές από τις αποχρώσεις του πώς να το χρησιμοποιήσετε.
Βεβαιωνόμαστε ότι θα δούμε προσεκτικά το αρχείο καταγραφής ερωτημάτων, ώστε να μπορέσουμε να δημιουργήσουμε γενεαλογία. Ένα από τα πράγματα που κάνουμε είναι να εξετάσουμε το αρχείο καταγραφής ερωτημάτων σε στιγμές που τα δεδομένα μετακινούνται από έναν πίνακα στον άλλο και αυτό μας επιτρέπει να θέσουμε μία από τις πιο συχνές ερωτήσεις σχετικά με έναν πίνακα δεδομένων, από πού προέρχεται αυτό; Πώς μπορώ να το εμπιστευθώ; Και αυτό που μπορούμε να δείξουμε δεν είναι μόνο από ποια άλλα τραπέζια προήλθε, αλλά πώς μεταμορφώθηκε στην πορεία. Και πάλι, αυτό το είδος τροφοδοτείται από το αρχείο καταγραφής ερωτημάτων.
Επομένως, βεβαιώνουμε ότι αυτά τα πράγματα έχουν δημιουργηθεί και ότι έχουν πάρει γενεαλογία στο σύστημα, και στόχευαν τα πιο πολύτιμα και τα πιο υψηλά μοχλευμένα κομμάτια των μεταδεδομένων που μπορούμε να εγκαταστήσουμε στις σελίδες του πίνακα, έτσι ώστε όταν ψάχνετε, μπορείτε να βρείτε κάτι χρήσιμο.
Robin Bloor: Εντάξει. Η άλλη ερώτηση - υπάρχει πολλές ερωτήσεις από το ακροατήριο, οπότε δεν θέλω να καταλάβω πολύ χρόνο εδώ - η άλλη ερώτηση που έρχεται στο μυαλό είναι μόνο τα σημεία πόνου. Πολλά λογισμικά αγοράζονται επειδή οι άνθρωποι είναι, κατά τον ένα ή τον άλλο τρόπο, αντιμετωπίζουν δυσκολίες με κάτι. Έτσι ποιο είναι το κοινό σημείο πόνου που οδηγεί τους ανθρώπους στο Alation;
David Crawford: Ναι. Νομίζω ότι υπάρχουν μερικοί, αλλά νομίζω ότι ένα από αυτά που ακούμε αρκετά συχνά είναι αναλυτής επί του σκάφους. "Θα χρειαστεί να προσλάβω 10, 20, 30 ανθρώπους στο εγγύς μέλλον, οι οποίοι θα πρέπει να παράγουν νέες γνώσεις από αυτά τα δεδομένα, πώς θα φτάσουν στην ταχύτητα;" Έτσι ο αναλυτής επί του σκάφους είναι κάτι που σίγουρα αντιμετωπίζουμε. Επίσης, απλά ανακουφίζει τους ανώτερους αναλυτές από το να ξοδεύουν όλο τον χρόνο τους απαντώντας σε ερωτήσεις από άλλους ανθρώπους σχετικά με τα δεδομένα. Αυτή είναι και μια πολύ συχνή. Και τα δύο είναι ουσιαστικά εκπαιδευτικά προβλήματα.
Και έπειτα θα έλεγα ότι ένας άλλος τόπος που βλέπουμε τους ανθρώπους που υιοθετούν το Alation είναι όταν θέλουν να δημιουργήσουν ένα νέο περιβάλλον δεδομένων για κάποιον που θα εργαστεί. Θέλουν να διαφημίσουν και να το εμπορεύσουν αυτό εσωτερικά για να επωφεληθούν οι άνθρωποι. Στη συνέχεια, κάνοντας Alation το front-end σε αυτό το νέο αναλυτικό περιβάλλον είναι πολύ ελκυστικό. Έχει την τεκμηρίωση, έχει ένα ενιαίο σημείο εισαγωγής στο - ένα ενιαίο σημείο πρόσβασης στα συστήματα, και έτσι είναι ένα άλλο μέρος όπου οι άνθρωποι θα έρθουν σε μας.
Robin Bloor: Εντάξει, θα σας μεταφέρω στη Rebecca επειδή το κοινό προσπαθεί να φτάσει σε εσάς.
Rebecca Jozwiak: Ναι, έχουμε εδώ πολλά πραγματικά καλά θέματα κοινού. Και ο Δαβίδ, αυτός που τέθηκε ειδικά σε εσάς. Είναι από κάποιον που προφανώς έχει κάποια εμπειρία με τους ανθρώπους κάπως αλλοιώνει ερωτήματα και λέει ότι όσο περισσότερο ενδυναμώνουμε τους χρήστες, τόσο πιο δύσκολο είναι να κυβερνάμε την υπεύθυνη χρήση των υπολογιστικών πόρων. Μπορείτε λοιπόν να υπερασπιστείτε τη διάδοση των λανθασμένων αλλά κοινών φράσεων ερωτήσεων;
David Crawford: Ναι, βλέπω αυτήν την ερώτηση. Είναι μια μεγάλη ερώτηση - μία που παίρνουμε αρκετά συχνά. Έχω δει τον εαυτό μου τον πόνο σε προηγούμενες εταιρείες, όπου πρέπει να εκπαιδεύσετε τους χρήστες. Για παράδειγμα, "Αυτός είναι ένας πίνακας καταγραφής, τα αρχεία του έχουν επιστρέψει εδώ και χρόνια. Εάν πρόκειται να γράψετε ένα ερώτημα σε αυτό το τραπέζι, πρέπει πραγματικά να περιορίσετε την ημερομηνία. "Έτσι, για παράδειγμα, αυτή η εκπαίδευση προχώρησα σε μια προηγούμενη εταιρεία πριν μου δοθεί πρόσβαση στη βάση δεδομένων.
Έχουμε μερικούς τρόπους που προσπαθούμε να το αντιμετωπίσουμε. Θα έλεγα ότι νομίζω ότι τα δεδομένα του ερωτηματολογίου είναι πραγματικά μοναδικά πολύτιμα για να το αντιμετωπίσουμε. Δίνει μια άλλη ιδέα σε σχέση με το τι κάνει η βάση δεδομένων εσωτερικά με τον προγραμματιστή επερωτήσεων. Και αυτό που κάνουμε είναι μία από αυτές τις παρεμβάσεις - έχουμε τις χειρωνακτικές παρεμβάσεις που έδειξα και αυτό είναι χρήσιμο, έτσι; Έτσι, για μια συγκεκριμένη ένωση, για παράδειγμα, μπορείτε να πείτε, "Αφήστε να ξεπεραστεί αυτό." Itll έχει μια μεγάλη κόκκινη σημαία όταν εμφανίζεται σε έξυπνο προτείνουμε. Έτσι αυτός είναι ένας τρόπος να προσπαθήσουμε να φτάσουμε στους ανθρώπους.
Ένα άλλο πράγμα που κάνουμε είναι αυτοματοποιημένο σε παρεμβάσεις χρόνου εκτέλεσης. Το Thatll χρησιμοποιεί στην πραγματικότητα το παράξενο δέντρο του ερωτήματος πριν το τρέξουμε για να το δούμε, περιλαμβάνει ένα συγκεκριμένο φίλτρο ή μερικά άλλα πράγματα που κάνουμε και εκεί. Αλλά μία από τις πιο πολύτιμες και η πιο απλή για να εξηγήσω είναι, περιλαμβάνει ένα φίλτρο; Έτσι, όπως το παράδειγμα που μόλις έδωσα, αυτό το τραπέζι, αν θέλετε να το κάνετε ερώτημα, πρέπει να έχετε ένα εύρος ημερομηνιών, μπορείτε να καθορίσετε στη σελίδα πίνακα εκείνη την εντολή ότι το φίλτρο εύρους ημερομηνιών θα εφαρμοστεί. Εάν κάποιος προσπαθήσει να εκτελέσει ένα ερώτημα που δεν περιλαμβάνει αυτό το φίλτρο, θα σταματήσει πραγματικά με μια μεγάλη προειδοποίηση και θα πει «Θα πρέπει πιθανώς να προσθέσετε κάποια SQL που μοιάζει με αυτό στο ερώτημά σας». Μπορούν να συνεχίσουν αν θέλουν . Δεν θα τους απαγόρευε τελείως να το χρησιμοποιήσουν - και το ερώτημά του, το πήρε, στο τέλος της ημέρας, τρέχει ερωτήματα. Αλλά βάζουμε ένα αρκετά μεγάλο φράγμα μπροστά τους και τους δίνουμε μια πρόταση, μια συγκεκριμένη εφαρμόσιμη πρόταση για να τροποποιήσουμε το ερώτημα για να βελτιώσουμε την απόδοσή τους.
Αυτό συμβαίνει επίσης αυτόματα σε ορισμένες περιπτώσεις, και πάλι παρατηρώντας το αρχείο καταγραφής ερωτημάτων. Αν διαπιστώσουμε ότι κάποιο πολύ μεγάλο ποσοστό των ερωτημάτων σε αυτό το τραπέζι εκμεταλλεύεται ένα συγκεκριμένο φίλτρο ή μια συγκεκριμένη ρήτρα συμμετοχής, τότε στην πραγματικότητα θα εμφανιστεί αυτό. Καλά προωθήστε το σε μια παρέμβαση. Στην πραγματικότητα, μου συνέβη σε ένα εσωτερικό σύνολο δεδομένων. Έχουμε δεδομένα πελατών και έχουμε αναγνωριστικά χρήστη, αλλά το αναγνωριστικό χρήστη, από το είδος του - έχουμε αναγνωριστικά χρήστη σε κάθε πελάτη. Δεν είναι μοναδικό, οπότε πρέπει να το συνδυάσετε με ένα αναγνωριστικό πελάτη για να αποκτήσετε ένα μοναδικό κλειδί σύνδεσης.Και γράφω ένα ερώτημα και προσπάθησα να αναλύσω κάτι και αναδύθηκε και είπε: "Γεια σου, όλοι οι άλλοι φαίνεται να ενώνουν αυτά τα τραπέζια τόσο με το αναγνωριστικό πελάτη όσο και με το αναγνωριστικό χρήστη. Είστε βέβαιοι ότι δεν θέλετε να το κάνετε αυτό; "Και πράγματι με εμπόδισε να κάνω κάποια ανακριβή ανάλυση. Λειτουργεί τόσο για την ακρίβεια της ανάλυσης όσο και για την απόδοση. Αυτό είναι το είδος του τρόπου με τον οποίο αντιμετωπίζουμε αυτό το πρόβλημα.
Rebecca Jozwiak: Αυτό μου φαίνεται αποτελεσματικό. Είπατε ότι συνηθίζατε να μην εμποδίζετε τους ανθρώπους από τη δημιουργία πόρων, αλλά να τους διδάξετε ότι αυτό που κάνουν είναι να μην είναι το καλύτερο, σωστά;
David Crawford: Υποθέτουμε πάντα ότι οι χρήστες δεν είναι κακόβουλοι - δώστε τους τις καλύτερες προθέσεις - και προσπαθούμε να είμαστε αρκετά ανοιχτοί με αυτόν τον τρόπο.
Rebecca Jozwiak: Εντάξει. Υπάρχει μια άλλη ερώτηση: "Ποια είναι η διαφορά μεταξύ ενός διαχειριστή καταλόγου, όπως και της λύσης σας, και ενός εργαλείου MDM; Ή στην πραγματικότητα βασίζεται σε διαφορετικό κύριο με τη διεύρυνση της επιλογής των πινάκων ερωτημάτων, ενώ η MDM θα το κάνει αυτόματα, αλλά με το ίδιο βασικό κεφάλαιο της συλλογής μεταδεδομένων. "
David Crawford: Ναι, νομίζω ότι όταν εξετάζω τις παραδοσιακές λύσεις MDM, η κύρια διαφορά είναι μια φιλοσοφική. Είναι όλα σχετικά με το ποιος είναι ο χρήστης. Όπως είπα στην αρχή της παρουσίασής μου, Alation, νομίζω ότι, όταν ιδρύσαμε, δημιουργήσαμε με στόχο να δώσουμε στους αναλυτές τη δυνατότητα να παράγουν περισσότερες γνώσεις, να τις παράγουν ταχύτερα, να είναι ακριβέστερες στις γνώσεις τους παράγω. Δεν πιστεύω ότι ήταν ποτέ ο στόχος μιας παραδοσιακής λύσης MDM. Αυτές οι λύσεις τείνουν να στοχεύουν σε άτομα που πρέπει να παράγουν αναφορές σχετικά με τα δεδομένα που έχουν ληφθεί στην SCC ή εσωτερικά για κάποιο άλλο είδος ελεγκτικού σκοπού. Μπορεί μερικές φορές να επιτρέψει στους αναλυτές, αλλά πιο συχνά, εάν πρόκειται να επιτρέψει σε έναν επαγγελματία στην εργασία τους, είναι πιο πιθανό να δώσει τη δυνατότητα σε έναν αρχιτέκτονα δεδομένων όπως ένα DBA.
Όταν σκέφτεστε τα πράγματα από την άποψη ενός αναλυτή, αυτό είναι που αρχίζετε να δημιουργείτε ένα εργαλείο επερωτήσεων το οποίο ένα εργαλείο MDM δεν θα έκανε ποτέ. Αυτό όταν αρχίζετε να σκέφτεστε για τις επιδόσεις, καθώς και την ακρίβεια, καθώς και την κατανόηση ποια δεδομένα σχετίζονται με τις ανάγκες της επιχείρησής μου. Όλα αυτά τα πράγματα είναι κάτι το είδος της ποπ στο μυαλό μας όταν σχεδιάζουμε το εργαλείο. Πηγαίνει στους αλγόριθμους αναζήτησης, πηγαίνει στη διάταξη των σελίδων του καταλόγου και τη δυνατότητα να συμβάλλει στη γνώση από όλο τον οργανισμό. Πηγαίνει στο γεγονός ότι δημιουργήσαμε το εργαλείο επερωτήσεων και ότι κατασκευάσαμε τον κατάλογο απευθείας σε αυτό, γι 'αυτό πιστεύω ότι προέρχεται πραγματικά από αυτό. Ποιος χρήστης έχετε κατά νου κατά νου;
Rebecca Jozwiak: Εντάξει, καλό. Αυτό βοήθησε πραγματικά να το εξηγήσω. ο οποίος πέθαινε για να κρατήσει τα αρχεία γιατί έπρεπε να φύγει, αλλά ήθελε πραγματικά να απαντήσει στην ερώτησή του. Είπε ότι αναφέρθηκε στην αρχή ότι υπάρχουν πολλές γλώσσες, αλλά η SQL είναι η μοναδική γλώσσα που μοχλεύει μέσα στο στοιχείο Compose;
David Crawford: Ναι αυτό είναι αλήθεια. Και ένα από τα πράγματα που έχω παρατηρήσει, όπως έχω παρατηρήσει την έκρηξη των διαφόρων τύπων βάσεων δεδομένων, βάσεων δεδομένων εγγράφων, βάσεων δεδομένων γραφικών, βασικών καταστημάτων αξίας, είναι ότι είναι πραγματικά ισχυρά για την ανάπτυξη εφαρμογών. Μπορούν να εξυπηρετήσουν τις ιδιαίτερες ανάγκες εκεί πραγματικά καλά, με καλύτερους τρόπους από τις σχεσιακές βάσεις δεδομένων.
Αλλά όταν το επαναφέρετε στην ανάλυση δεδομένων, όταν την επαναφέρετε - όταν θέλετε να παρέχετε αυτές τις πληροφορίες σε ανθρώπους που πρόκειται να κάνουν ad hoc αναφορές ή ad hoc σκάβουν στα δεδομένα, ότι πάντα επιστρέφουν σε ένα σχεσιακό , τουλάχιστον, διεπαφή για τον άνθρωπο. Μέρος αυτού είναι ακριβώς επειδή η SQL είναι το lingua franca της ανάλυσης δεδομένων, έτσι ώστε να σημαίνει, για τους ανθρώπους, και για τα εργαλεία που ενσωματώνουν. Νομίζω ότι αυτός είναι ο λόγος που η SQL για τον Hadoop είναι τόσο δημοφιλής και υπάρχουν τόσα πολλά επιχειρήματα για την επίλυσή του, είναι επειδή στο τέλος της ημέρας, αυτό είναι αυτό που οι άνθρωποι γνωρίζουν. Υπάρχουν μάλλον εκατομμύρια άνθρωποι που ξέρουν πώς να γράφουν SQL και δεν θα έδινα εκατομμύρια ανθρώπους που ξέρουν πώς να γράψουν ένα ερώτημα πλαισίου αθροιστικών αγωγών Mongo. Και αυτή είναι μια τυπική γλώσσα που χρησιμοποιείται για την ολοκλήρωση σε μια πραγματικά μεγάλη ποικιλία πλατφορμών. Έτσι, όλα αυτά που λένε, πολύ σπάνια ζητήθηκαν να βγουν έξω από αυτό επειδή είναι το περιβάλλον που χρησιμοποιούν οι περισσότεροι αναλυτές και είναι ένας τόπος όπου εστιάσαμε, ειδικά στο Compose, ότι επικεντρώσαμε το γράψιμο του SQL.
Θα έλεγα ότι η επιστήμη των δεδομένων είναι ο τόπος στον οποίο θα βγούν έξω από τα περισσότερα, γι 'αυτό κάνουμε περιστασιακές ερωτήσεις σχετικά με τη χρήση του Pig ή του SAS. Αυτά είναι πράγματα που σίγουρα δεν χειριζόμαστε στην Σύνθεση και που θα θέλαμε να συλλάβουμε στον κατάλογο. Και Im βλέποντας επίσης R και Python. Έχουμε μερικούς τρόπους με τους οποίους έχουμε κάνει διεπαφές που μπορείτε να χρησιμοποιήσετε τα ερωτήματα που είναι γραμμένα στο Alation μέσα από τα γραφήματα R και Python, έτσι ώστε, συχνά όταν είστε ένας επιστήμονας δεδομένων και εργάζεστε σε μια γλώσσα δέσμης ενεργειών, τα δεδομένα πηγής σας είναι σε σχεσιακό βάση δεδομένων. Αρχίζετε με ένα ερώτημα SQL και στη συνέχεια επεξεργάζεστε περαιτέρω και δημιουργείτε γραφήματα μέσα στο R και Python. Και έχουμε κάνει πακέτα που μπορείτε να εισαγάγετε σε αυτά τα σενάρια που τραβούν τα ερωτήματα ή τα αποτελέσματα των ερωτημάτων από το Alation, ώστε να μπορείτε να έχετε μια αναμειγμένη ροή εργασίας εκεί.
Rebecca Jozwiak: Εντάξει ωραία. Ξέρω ότι weve τρέχει λίγο πέρα από την κορυφή της ώρας, Im απλά θα ζητήσει μια ή δύο ακόμα ερωτήσεις. Ξέρω ότι μιλήσατε για όλα τα διαφορετικά συστήματα στα οποία μπορείτε να συνδεθείτε, αλλά όσον αφορά τα δεδομένα που φιλοξενούνται εξωτερικά και τα εσωτερικά φιλοξενούντα δεδομένα, μπορούν μαζί να αναζητηθούν στην ενιαία προβολή σας, στην πλατφόρμα σας;
David Crawford: Σίγουρος. Υπάρχουν μερικοί τρόποι να το κάνετε αυτό. Θέλω να πω, εξωτερικά φιλοξενείται, θα φανταστώ, Im προσπαθώ να σκεφτώ ακριβώς τι μπορεί να σημαίνει. Θα μπορούσε να σημαίνει μια βάση δεδομένων που φιλοξενεί κάποιος στο AWS για εσάς. Θα μπορούσε να σημαίνει μια δημόσια πηγή δεδομένων από data.gov. Συνδέουμε άμεσα με βάσεις δεδομένων, πραγματοποιώντας σύνδεση με μια άλλη εφαρμογή, με έναν λογαριασμό βάσεων δεδομένων, και έτσι εξαγάγουμε τα μεταδεδομένα. Έτσι εάν έχουμε λογαριασμό και έχουμε ανοιχτό το λιμάνι του δικτύου, μπορούμε να το φτάσουμε. Και τότε, όταν δεν έχουμε αυτά τα πράγματα, έχουμε κάτι που ονομάζεται πηγή εικονικών δεδομένων, που σας επιτρέπει να πιέζετε ουσιαστικά την τεκμηρίωση, είτε αυτομάτως, γράφοντας τον δικό σας σύνδεσμο είτε συμπληρώνοντάς τον, κάνοντας ακόμα και CSV upload, τα δεδομένα μαζί με τα εσωτερικά σας δεδομένα. Όλα αυτά τοποθετούνται στη μηχανή αναζήτησης. Γίνεται αναφορά στο εσωτερικό των άρθρων και άλλων εγγράφων και συνομιλιών στο εσωτερικό του συστήματος. Αυτό είναι το πώς χειριζόμαστε όταν λοξοτομούμε απευθείας σύνδεση με ένα σύστημα.
Rebecca Jozwiak: Εντάξει, αυτό έχει νόημα. Θα σας βάλω μόνο μια ακόμα ερώτηση. Ένας συμμετέχων είναι με ποιον τρόπο θα πρέπει να επικυρώνεται, να επαληθεύεται ή να διατηρείται το περιεχόμενο ενός καταλόγου δεδομένων, καθώς ενημερώνονται τα δεδομένα προέλευσης, τροποποιούνται τα δεδομένα προέλευσης κ.λπ. "
David Crawford: Ναι, η ερώτησή του είναι ότι έχουμε πολλά και νομίζω ότι ένα από τα πράγματα που εμείς - μία από τις φιλοσοφίες μας, όπως είπα, δεν πιστεύουμε ότι οι χρήστες είναι κακόβουλοι. Υποθέτουμε ότι προσπαθούν να συνεισφέρουν τις καλύτερες γνώσεις. Δεν πρόκειται να έρθουν και σκόπιμα παραπλανήσουν τους ανθρώπους για τα δεδομένα. Εάν αυτό είναι ένα πρόβλημα στον οργανισμό σας, ίσως οι Alation δεν είναι το σωστό εργαλείο για εσάς. Αλλά αν υποθέσετε τις καλές προθέσεις των χρηστών, τότε, σκεφτόμαστε αυτό ως κάτι όπου, οι ενημερώσεις έρχονται, και στη συνέχεια συνήθως αυτό που κάνουμε είναι να βάλουμε έναν υπεύθυνο διαχείρισης για κάθε αντικείμενο δεδομένων ή κάθε τμήμα των δεδομένων. Και μπορούμε να ενημερώσουμε αυτούς τους διαχειριστές όταν γίνονται αλλαγές στα μεταδεδομένα και μπορούν να το χειριστούν με αυτόν τον τρόπο. Βλέπουν τις ενημερώσεις που έρχονται, την επικυρώνουν. Εάν δεν είναι σωστό, μπορούν να επιστρέψουν και να τις τροποποιήσουν και να ενημερώσουν και ελπίζουμε να έρθουν ακόμη και στο χρήστη που συνέβαλαν τις πληροφορίες και να τους βοηθήσουν να μάθουν.
Αυτός είναι ο πρωταρχικός τρόπος που σκεφτόμαστε να το κάνουμε. Αυτό το είδος της πρότασης από το πλήθος και τη διαχείριση από τους αγωνοδίκες, έτσι έχουμε κάποιες δυνατότητες γύρω από αυτό.
Rebecca Jozwiak: Εντάξει καλά. Και αν μπορούσατε να αφήσετε τους ανθρώπους να γνωρίζουν πώς μπορούν καλύτερα να ξεκινήσουν με το Alation, και πού μπορούν να πάνε ειδικά για να πάρουν περισσότερες πληροφορίες. Ξέρω ότι μοιραστήκατε ότι ένα bit.ly.ly. Είναι αυτό το καλύτερο μέρος;
David Crawford: Alation.com/learnmore Νομίζω ότι είναι ένας πολύ καλός τρόπος να πάτε. Για να εγγραφείτε για μια επίδειξη, ο ιστότοπος Alation.com διαθέτει πολλούς μεγάλους πόρους, λευκές βιντεοκασέτες πελατών και ειδήσεις σχετικά με τη λύση μας. Πιστεύω λοιπόν ότι είναι ένα εξαιρετικό μέρος για να ξεκινήσετε. Μπορείτε επίσης να .
Rebecca Jozwiak: Εντάξει ωραία. Και γνωρίζω, οι παρευρισκόμενοι, λυπάμαι αν δεν ήμουν σε όλες τις ερωτήσεις σήμερα, αλλά αν όχι, θα διαβιβαστούν στον David ή την ομάδα πωλήσεών του ή κάποιον στο Alation, έτσι ώστε σίγουρα να μπορέσουν να απαντήσουν στις ερωτήσεις σας και να βοηθήσουν να καταλάβουν τι Alation κάνει ή τι κάνουν καλύτερα.
Και με αυτό, οι λαοί, θα προχωρήσω και θα μας υπογράψουν. Μπορείτε πάντα να βρείτε τα αρχεία στο InsideAnalysis.com. Μπορείτε επίσης να το βρείτε στο Techopedia.com. Έχουν την τάση να ενημερώνονται λίγο πιο γρήγορα, έτσι σίγουρα ελέγξτε ότι έξω. Και ευχαριστώ πολύ τον David Crawford, τον Dez Blanchfield και τον Robin Boor σήμερα. Ήταν ένα μεγάλο webcast. Και με αυτό, θα σας απογοητεύσω. Ευχαριστώ, παιδιά. Αντίο.
David Crawford: Σας ευχαριστώ.