Περιεχόμενο
- Ορισμός - Τι σημαίνει Crawler στο Web;
- Εισαγωγή στη Microsoft Azure και το Microsoft Σε αυτό τον οδηγό θα μάθετε τι είναι το cloud computing και πώς η Microsoft Azure μπορεί να σας βοηθήσει να μεταφέρετε και να εκτελέσετε την επιχείρησή σας από το cloud.
- Η Techopedia εξηγεί το Web Crawler
Ορισμός - Τι σημαίνει Crawler στο Web;
Ένα ανιχνευτή ιστού είναι ένα bot Internet που βοηθά στην ευρετηρίαση στο Web. Ανιχνεύουν μια σελίδα κάθε φορά μέσω ενός ιστότοπου, μέχρις ότου όλες οι σελίδες έχουν ευρετηριαστεί. Οι ανιχνευτές ιστού βοηθούν στη συλλογή πληροφοριών σχετικά με έναν ιστότοπο και τους συνδέσμους που σχετίζονται με αυτές και επίσης βοηθούν στην επικύρωση του κώδικα HTML και των υπερσυνδέσμων.
Ένα ανιχνευτή ιστού είναι επίσης γνωστό ως αράχνη ιστού, αυτόματη ευρετηρίαση ή απλά crawler.
Εισαγωγή στη Microsoft Azure και το Microsoft Σε αυτό τον οδηγό θα μάθετε τι είναι το cloud computing και πώς η Microsoft Azure μπορεί να σας βοηθήσει να μεταφέρετε και να εκτελέσετε την επιχείρησή σας από το cloud.
Η Techopedia εξηγεί το Web Crawler
Οι ανιχνευτές ιστού συλλέγουν πληροφορίες όπως η διεύθυνση URL του ιστότοπου, οι πληροφορίες μετα-ετικέτας, το περιεχόμενο της ιστοσελίδας, οι σύνδεσμοι στην ιστοσελίδα και οι προορισμοί που οδηγούν από αυτούς τους συνδέσμους, ο τίτλος της ιστοσελίδας και κάθε άλλη σχετική πληροφορία. Παρακολουθούν τις διευθύνσεις URL που έχουν ήδη ληφθεί για να αποφύγουν την εκ νέου λήψη της ίδιας σελίδας. Ένας συνδυασμός πολιτικών όπως πολιτική επανελέγχου, πολιτική επιλογής, πολιτική παραλληλισμού και πολιτική ευγένειας καθορίζει τη συμπεριφορά του ανιχνευτή ιστού. Υπάρχουν πολλές προκλήσεις για τα προγράμματα ανίχνευσης ιστού, δηλαδή το μεγάλο και συνεχώς εξελισσόμενο World Wide Web, οι επιλογές επιλογής περιεχομένου, οι κοινωνικές υποχρεώσεις και η αντιμετώπιση αντιπάλων.
Οι ανιχνευτές ιστού είναι τα βασικά συστατικά των μηχανών αναζήτησης Ιστού και των συστημάτων που εξετάζουν ιστοσελίδες. Βοηθούν στην ευρετηρίαση των εγγραφών στο Web και επιτρέπουν στους χρήστες να κάνουν ερωτήματα ενάντια στο ευρετήριο και παρέχουν επίσης τις ιστοσελίδες που ταιριάζουν με τα ερωτήματα. Μια άλλη χρήση των ανιχνευτών ιστού είναι στην αρχειοθέτηση του ιστού, το οποίο περιλαμβάνει μεγάλα σύνολα ιστοσελίδων που συλλέγονται και αρχειοθετούνται περιοδικά. Οι ανιχνευτές ιστού χρησιμοποιούνται επίσης στην εξόρυξη δεδομένων, όπου οι σελίδες αναλύονται για διαφορετικές ιδιότητες όπως στατιστικές και στη συνέχεια πραγματοποιούνται αναλύσεις δεδομένων σε αυτές.