Περιεχόμενο
- Το ETL δημιουργεί προβλήματα στο Analytics
- Εξορθολογισμός του ETL με την Machine Learning και την AI
- No Bugs, No Stress - Ο οδηγός σας βήμα προς βήμα για τη δημιουργία λογισμικού που αλλάζει τη ζωή χωρίς να καταστρέφει τη ζωή σας
Πηγή: Pop Nukoonrat / Dreamstime.com
Πάρε μακριά:
Τα δεδομένα είναι κρίσιμα για τις επιχειρήσεις, αλλά για να είναι χρήσιμα, δεν πρέπει να υπάρχουν σφάλματα στη συλλογή, επεξεργασία και παρουσίαση αυτών των δεδομένων. Η τεχνητή νοημοσύνη μπορεί να παρακολουθεί τις διαδικασίες ETL για να βεβαιωθεί ότι είναι χωρίς λάθη.
Το ETL (εκχύλισμα, μετασχηματισμός και φόρτωση) είναι μία από τις σημαντικότερες διεργασίες σε μεγάλες αναλύσεις δεδομένων - και ταυτόχρονα μπορεί να είναι ένα από τα μεγαλύτερα σημεία συμφόρησης. (Για περισσότερα σχετικά με τα μεγάλα δεδομένα, ελέγξτε 5 χρήσιμα μαθήματα μεγάλων δεδομένων που μπορείτε να πάρετε στο διαδίκτυο.)
Ο λόγος για τον οποίο η ETL είναι τόσο σημαντική είναι ότι τα περισσότερα δεδομένα που συλλέγει μια επιχείρηση δεν είναι έτοιμα, με την ακατέργαστη μορφή της, για μια λύση ανάλυσης που μπορεί να αφομοιώσει. Προκειμένου να δημιουργηθούν πληροφορίες για μια λύση ανάλυσης, τα ακατέργαστα δεδομένα πρέπει να εξαχθούν από την εφαρμογή όπου διαμένουν, να μετατραπούν σε μορφή που μπορεί να διαβάσει ένα πρόγραμμα ανάλυσης και στη συνέχεια να φορτωθεί στο ίδιο το πρόγραμμα ανάλυσης.
Αυτή η διαδικασία είναι ανάλογη με τη μαγειρική. Τα ακατέργαστα συστατικά σας είναι τα ακατέργαστα δεδομένα σας. Πρέπει να εξάγονται (αγοράζονται από ένα κατάστημα), να μετασχηματίζονται (μαγειρεμένα) και στη συνέχεια να τοποθετούνται (επιμεταλλωμένα), προτού μπορέσουν να αναλυθούν (δοκιμάζονται). Η δυσκολία και η δαπάνη μπορεί να κλιμακωθεί απρόβλεπτα - είναι εύκολο να φτιάξεις τυρί mac n 'για τον εαυτό σου, αλλά πολύ πιο δύσκολο να δημιουργήσεις ένα γκουρμέ μενού για 40 άτομα σε δείπνο. Περιττό να πούμε ότι ένα λάθος σε οποιοδήποτε σημείο μπορεί να κάνει το γεύμα σας αβέβαιο.
Το ETL δημιουργεί προβλήματα στο Analytics
Το ETL είναι κατά κάποιο τρόπο το θεμέλιο της διαδικασίας ανάλυσης, αλλά έχει επίσης μερικά μειονεκτήματα. Πρώτα απ 'όλα, είναι αργή και υπολογιστικά δαπανηρή. Αυτό σημαίνει ότι οι επιχειρήσεις συχνά δίνουν προτεραιότητα μόνο στα πιο σημαντικά δεδομένα τους για αναλύσεις και απλά αποθηκεύουν τα υπόλοιπα. Αυτό συμβάλλει στο γεγονός ότι μέχρι και το 99% όλων των επιχειρηματικών δεδομένων παραμένει αχρησιμοποίητο για σκοπούς αναλύσεων.
Επιπλέον, η διαδικασία ETL δεν είναι ποτέ βέβαιη. Τα σφάλματα μέσα στη διαδικασία ETL μπορούν να καταστρέψουν τα δεδομένα σας. Για παράδειγμα, ένα σύντομο σφάλμα δικτύου μπορεί να εμποδίσει την εξαγωγή δεδομένων. Εάν τα δεδομένα προέλευσης περιέχουν πολλούς τύπους αρχείων, τότε ενδέχεται να μην έχουν μετασχηματιστεί σωστά. Σκουπίδια, σκουπίδια, όπως λένε - τα σφάλματα κατά τη διαδικασία ETL σχεδόν σίγουρα θα εκφραστούν με όρους ανακριβών αναλυτικών στοιχείων.
Μια διεφθαρμένη διαδικασία ETL μπορεί να έχει κακές συνέπειες. Ακόμη και στο βέλτιστο σενάριο, πιθανότατα θα χρειαστεί να εκτελέσετε ξανά το ETL, πράγμα που σημαίνει καθυστέρηση των ωρών - και εν τω μεταξύ οι υπεύθυνοι λήψης αποφάσεων σας είναι ανυπόμονοι. Στο χειρότερο σενάριο, δεν παρατηρείτε τα ανακριβή αναλυτικά στοιχεία μέχρι να αρχίσετε να χάνετε χρήματα και πελάτες.
Εξορθολογισμός του ETL με την Machine Learning και την AI
Μπορείτε - και ίσως να κάνετε - να εκχωρήσετε κάποιον που να παρακολουθεί το ETL, αλλά είναι ειλικρινά όχι τόσο απλό. Κακά δεδομένα μπορεί να προκύψουν από σφάλματα διαδικασίας που συμβαίνουν τόσο γρήγορα ώστε να μην μπορούν να γίνουν αντιληπτά σε πραγματικό χρόνο. Τα αποτελέσματα μιας διεφθαρμένης διαδικασίας ETL συχνά δεν φαίνονται διαφορετικά από τα σωστά φορτωμένα δεδομένα. Ακόμα και όταν τα λάθη είναι προφανή, το πρόβλημα που δημιούργησε το σφάλμα μπορεί να μην είναι τόσο εύκολο να εντοπιστεί. (Για να μάθετε περισσότερα σχετικά με την ανάλυση δεδομένων, ανατρέξτε στην ενότητα Ρόλος εργασίας: Αναλυτής δεδομένων.)
Τα καλά νέα είναι ότι τα μηχανήματα μπορούν να πιάσουν αυτό που οι άνθρωποι δεν μπορούν. Αυτοί είναι μόνο μερικοί τρόποι με τους οποίους η AI και η μηχανική μάθηση μπορούν να πιάσουν σφάλματα ETL πριν μετατραπούν σε ανακριβή αναλυτικά στοιχεία.
No Bugs, No Stress - Ο οδηγός σας βήμα προς βήμα για τη δημιουργία λογισμικού που αλλάζει τη ζωή χωρίς να καταστρέφει τη ζωή σας
Δεν μπορείτε να βελτιώσετε τις δεξιότητες προγραμματισμού σας όταν κανείς δεν ενδιαφέρεται για την ποιότητα του λογισμικού.
1. Εντοπισμός και ειδοποίηση σε μετρήσεις ETL
Παρόλο που τα δεδομένα σας είναι μια συνεχώς κινούμενη εικόνα, η διαδικασία ETL θα πρέπει να παράγει σταθερές τιμές με σταθερή ταχύτητα. Όταν αλλάξουν αυτά τα πράγματα, προκαλεί συναγερμό. Οι άνθρωποι μπορούν να δουν μεγάλες διακυμάνσεις στα δεδομένα και να αναγνωρίσουν σφάλματα, αλλά η μηχανική μάθηση μπορεί να αναγνωρίσει τα πιο ευαίσθητα σφάλματα, ταχύτερα. Είναι δυνατό για ένα σύστημα εκμάθησης μηχανών να προσφέρει ανίχνευση ανωμαλιών σε πραγματικό χρόνο και να ειδοποιεί άμεσα το τμήμα πληροφορικής, επιτρέποντάς του να σταματήσει τη διαδικασία και να διορθώσει το πρόβλημα χωρίς να χρειαστεί να απορρίψει ώρες υπολογιστικής προσπάθειας.
2. Καθορίστε συγκεκριμένες φθορές
Ακόμα και αν τα αποτελέσματά σας είναι ακριβή, ενδέχεται να βγαίνουν πολύ αργά για να είναι χρήσιμα. Η Gartner το λέει αυτό Το 80% των στοιχείων που προέρχονται από τα αναλυτικά στοιχεία δεν θα χρησιμοποιηθούν ποτέ για τη δημιουργία χρηματικής αξίας, και αυτό μπορεί να οφείλεται στο γεγονός ότι ένας ηγέτης των επιχειρήσεων δεν μπορεί να δει μια διορατικότητα εγκαίρως για να το εκμεταλλευτεί. Η μηχανική μάθηση μπορεί να σας πει πού επιβραδύνεται το σύστημά σας και να σας δώσει απαντήσεις - να σας πάρει καλύτερα δεδομένα, πιο γρήγορα.
3. Ποσοτικοποιήστε τον αντίκτυπο της διαχείρισης της αλλαγής
Τα συστήματα που παράγουν τα δεδομένα και τα αναλυτικά στοιχεία σας δεν είναι στατικά - λαμβάνουν συνεχώς διορθώσεις και αναβαθμίσεις. Μερικές φορές, αυτές επηρεάζουν τον τρόπο με τον οποίο παράγουν ή ερμηνεύουν δεδομένα - οδηγώντας σε ανακριβή αποτελέσματα. Η εκμάθηση μηχανών μπορεί να επισημάνει τα αποτελέσματα που έχουν αλλάξει και να τα εντοπίσει στο συγκεκριμένο επιδιορθωμένο μηχάνημα ή εφαρμογή.
4. Μειώστε το κόστος των λειτουργιών
Οι κατακερματισμένες λειτουργίες ανάλυσης ισοδυναμούσαν με απώλειες χρημάτων. Ο χρόνος που περνάτε υπολογίζοντας όχι μόνο πώς να λύσετε το πρόβλημα, αλλά και ποιος είναι υπεύθυνος για την επίλυση του προβλήματος είναι ο χρόνος που θα μπορούσατε να δαπανούν αξία κτίριο. Η μηχανική μάθηση συμβάλλει στην καρδιά του θέματος προειδοποιώντας μόνο τις ομάδες που ενδέχεται να είναι υπεύθυνες για την ανταπόκριση σε συγκεκριμένα είδη συμβάντων, επιτρέποντας στο υπόλοιπο τμήμα IT να συνεχίσει να ασκεί βασικές λειτουργίες εργασίας. Επιπλέον, η εκμάθηση μηχανών θα βοηθήσει στην εξάλειψη των ψευδών θετικών στοιχείων, μειώνοντας τον συνολικό αριθμό των ειδοποιήσεων αυξάνοντας παράλληλα τη λεπτομερειακότητα των πληροφοριών που μπορούν να παράσχουν. Η κόπωση των συναγερμών είναι πολύ πραγματική, οπότε αυτή η αλλαγή θα έχει μετρήσιμο αντίκτυπο στην ποιότητα ζωής.
Όταν πρόκειται για νίκη στην επιχείρηση, η ανάλυση είναι ζωτικής σημασίας. Μια μελέτη ορόσημο από την Bain Capital δείχνει ότι οι επιχειρήσεις που χρησιμοποιούν αναλυτικά στοιχεία είναι περισσότερο από δύο φορές πιο πιθανό να υπερβούν οικονομικά την απόδοση. Η ETL παρέχει τις βάσεις για επιτυχία σε αυτόν τον τομέα, αλλά καθυστερήσεις και σφάλματα μπορούν επίσης να αποτρέψουν την επιτυχία ενός προγράμματος ανάλυσης. Η εκμάθηση μηχανών, επομένως, γίνεται ένα ανεκτίμητο εργαλείο για την επιτυχία οποιουδήποτε προγράμματος ανάλυσης, συμβάλλοντας στην εξασφάλιση καθαρών δεδομένων και ακριβή αποτελέσματα.