iGuRu
Now Reading
Περισσότερα για το Deepnet – Μηχανές Αναζήτησης
iGuRu

Περισσότερα για το Deepnet – Μηχανές Αναζήτησης

techxtra

Μετά από την τελευταία μας δημοσίευση σχετικά με το Deepnet διαπιστώσαμε ένα απίστευτο ενδιαφέρον από το αναγνωστικό μας κοινό και όχι μόνο. Το άρθρο αναδημοσιεύτηκε δεκάδες φορές (και πολλές φορές χωρίς την αναφορά της ιστοσελίδας μας). Στη συνέχεια θα βρείτε περισσότερα στοιχεία για το σκοτεινό δίκτυο καθώς και μηχανές αναζήτησης που ασχολούνται μόνο με αυτό.

To Deep Web (επίσης γνωστό και ως Deepnet, DarkNet, Undernet, το αόρατο Web ή το κρυμμένο Web) αναφέρεται στο περιεχόμενο του World Wide Web που δεν ανήκει στο Επιφανειακό Web (Surface Web), το οποίο δεικτοδοτείται από μία συνηθισμένη μηχανή αναζήτησης.

Ο Mike Bergman, ιδρυτής του BrightPlanet, που επινόησε τη φράση, είχε πει πως το να ψάχνει κανείς στο Internet σήμερα είναι σαν να σέρνει ένα δίχτυ στην επιφάνεια του ωκεανού: πολλά μπορεί να πιαστούν στο δίχτυ, αλλά υπάρχει ένας πλούτος πληροφοριών που βρίσκονται βαθιά και επομένως δεν μπορούν να πιαστούν. Οι περισσότερες πληροφορίες του Web είναι θαμμένες μέσα σε ιστότοπους με δυναμικά παραγόμενες ιστοσελίδες, και οι συνηθισμένες μηχανές αναζήτησης δεν μπορούν να τις εντοπίσουν. Οι παραδοσιακές μηχανές αναζήτησης δεν μπορούν να ανακτήσουν το περιεχόμενο του deep Web. Αυτές οι σελίδες δεν υπάρχουν μέχρι να δημιουργηθούν δυναμικά ως το αποτέλεσμα μιας συγκεκριμένης αναζήτησης. Το deep Web είναι αρκετές τάξεις μεγέθους μεγαλύτερο από το επιφανειακό Web.

Μέγεθος

Σύμφωνα με εκτιμήσεις που έγιναν σε μία μελέτη στο Πανεπιστήμιο Berkeley της Καλιφόρνια (University of California, Berkeley) το 2001 , το deep Web αποτελείται περίπου από 91.000 terabytes. Αντίθετα το επιφανειακό Web (που είναι εύκολα προσπελάσιμο από τις μηχανές αναζήτησης) είναι περίπου 167 terabytes. Η Βιβλιοθήκη του Αμερικάνικου Κονγκρέσου, υπολογίστηκε πως το 1997 είχε 3.000 terabytes. Το 2011, το YouTube υπολογίζεται ότι είχε αποθηκευμένα περίπου 200 εκατομμύρια βίντεο, συνολικού μεγέθους 5 petabytes ή 5000 terabytes. Ο υπολογισμός του μεγέθους του web διαφέρει από πηγή σε πηγή και έτσι υπάρχει ένα μεγάλο περιθώριο λάθους και κανένας αριθμός δε μπορεί να θεωρηθεί ως ακριβής. Ωστόσο σχετικά με τον αριθμό των πηγών του deep Web υπάρχουν πιο ακριβείς εκτιμήσεις: Το 2004 ο He ανακάλυψε 300.000 deep web sites σε ολόκληρο το Web , και σύμφωνα με τον Shestakov, περίπου 14.000 deep web sites υπήρχαν στο Ρώσικο τμήμα του Web το 2006.

Πληροφορίες του Deep Web

Οι πληροφορίες του Deep Web ανήκουν σε μία ή περισσότερες από τις παρακάτω κατηγορίες:

  • Δυναμικά παραγόμενο περιεχόμενο: δυναμικές ιστοσελίδες οι οποίες δημιουργούνται ως αποτέλεσμα της εκτέλεσης κάποιας επερώτησης (query) ή προσπελαύνονται μόνο μέσω κάποιας φόρμας.
  • Μη συνδεδεμένο περιεχόμενο: ιστοσελίδες οι οποίες δεν περιέχουν συνδέσμους από άλλες ιστοσελίδες, εμποδίζοντας έτσι τα προγράμματα που κάνουν Web crawling να επισκεφθούν το περιεχόμενό τους.
  • Ιδιωτικό Web: ιστότοποι που απαιτούν εγγραφή (registration) και κωδικό πρόσβασης.
  • Περιεχόμενο περιορισμένης πρόσβασης: ιστότοποι που περιορίζουν την πρόσβαση στις σελίδες τους με τεχνικό τρόπο (π.χ. χρησιμοποιώντας το Robots Exclusion Standard, CAPTCHAs, ή το no-cache Pragma στις επικεφαλίδες του πρωτοκόλλου HTTP, τα οποία απαγορεύουν στις μηχανές αναζήτησης να πλοηγούνται στις ιστοσελίδες τους [7]).
  • Περιεχόμενο που δεν είναι σε μορφή HTML: κείμενα που συμπεριλαμβάνονται σε multimedia αρχεία (εικόνες ή video) ή που έχουν συγκεκριμένη μορφή την οποία δεν μπορούν να χειριστούν οι μηχανές αναζήτησης.
  • Κείμενα που χρησιμοποιούν το παλαιότερο πρωτόκολλο Gopher και αρχεία που βρίσκονται σε διακομιστές FTP και τα οποία δεν μπορούν να εντοπιστούν από τις περισσότερες μηχανές αναζήτησης. Οι μηχανές αναζήτησης όπως η Google δεν δεικτοδοτούν ιστοσελίδες που βρίσκονται έξω από το πρωτόκολλο HTTP.

Προσπέλαση

Οι μηχανές αναζήτησης ανακαλύπτουν περιεχόμενο στο Web, χρησιμοποιώντας web crawlers που ακολουθούν συνδέσμους. Αυτή η τεχνική είναι ιδανική για να ανακαλύψει κανείς πληροφορίες στο Επιφανειακό Web (Surface Web) αλλά είναι αναποτελεσματική στην εύρεση πληροφοριών από το deep Web. Για παράδειγμα, αυτοί οι crawlers δεν προσπαθούν να βρουν δυναμικές ιστοσελίδες που προέρχονται από ερωτήματα σε βάσεις δεδομένων επειδή τα ερωτήματα αυτά θα ήταν θεωρητικά άπειρα.

Το 2005, η Yahoo! έκανε ένα μικρό κομμάτι του deep Web ερευνήσιμο με τη χρήση των Yahoo! Subscriptions. Αυτή η μηχανή αναζήτησης ψάχνει μόνο μέσω λίγων συνδρομητικών ιστοτόπων. Κάποιοι τέτοιοι ιστότοποι εμφανίζουν όλο τους το περιεχόμενο στα robots των μηχανών αναζήτησης, έτσι ώστε να εμφανίζονται στις αναζητήσεις των χρηστών, αλλά μετά εμφανίζουν στους χρήστες μία σελίδα για login ή συνδρομή.

Μηχανές Αναζήτησης

Θα δώσουμε κάποιες πιο ειδικευμένες μηχανές αναζήτησης, οι οποίες δίνουν αποτελέσματα από το Deep Web.
Φυσικά σε καμία περίπτωση δεν μπορεί να πει κάποιος το πως φιλτράρονται αυτά τα αποτελέσματα, ούτε είναι και ακριβώς το ίδιο, με το να βρίσκεσαι μέσα σε αυτό.
Ωστόσο οι συγκεκριμένες μηχανές “ψαρεύουν” ένα μεγάλο δίκτυο πληροφοριών, μη προσιτό στον πολύ κόσμο, από τις συνήθεις μηχανές αναζήτησης.
Ειδικεύονται σε συγκεκριμένα θέματα (επιστημονικά, τεχνικά, κλπ) και όπως θ’ ανακαλύψετε, ορισμένες φορές δίνουν πολύ ενδιαφέροντα αποτελέσματα.
Η σειρά τους, είναι απολύτως και τυχαία:

techxtra - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

scirus - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

infoplease - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

deepwebtech - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

infomine - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

intute - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

completeplanet - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

Virtual - Περισσότερα για το Deepnet - Μηχανές Αναζήτησης

Πηγές wiki και osarena

http://www.deepwebresearch.info/

Διαβάστε τις Τεχνολογικές Ειδήσεις από όλο τον κόσμο, με την εγκυρότητα του iGuRu.gr

Ακολουθήσετε μας στο Google News

View Comments (0)

Leave a Reply

Your email address will not be published.

 

iGuRu.gr © 2012 - 2021 Keep it Simple Stupid Custom Theme

Scroll To Top