Η βασική μέθοδος που χρησιμοποίησε ο Snowden χρησιμοποιείται για να συγκεντρώσει τα αρχεία που πήρε από την NSA, ήταν ένας Web Crawler.
Η μέθοδος αυτή είναι αρκετά φθηνή και αυτοματοποιημένη – είναι ένα απλό πρόγραμμα ανίχνευσης ιστού, ένα λογισμικό που αναζητά, και αποθηκεύει κάθε σελίδα, ή αρχείο εκτιμάει ότι είναι ενδιαφέρον, όπως αναφέρει η New York Times.
Η έρευνα που πραγματοποιήθηκε από εσωτερικό κλιμάκιο της NSA, κατέληξε στο συμπέρασμα ότι η επίθεση του Snowden δεν ήταν τόσο πολύ εξελιγμένη, όπως πίστευαν αρχικά, και ότι θα έπρεπε να είχε εντοπιστεί από τις ειδικές οθόνες ασφαλείας της υπηρεσίας.
Ένας web crawler μπορεί να προγραμματιστεί για να πηγαίνει από ιστοσελίδα σε ιστοσελίδα, να επισκέπτεται συνδέσεις που περιέχονται στα έγγραφα, να αντιγράφει και να αποθηκεύει αρχεία και ιστοσελίδες. Είναι ένα εργαλείο που χρησιμοποιείται συχνά από εταιρείες του Διαδικτύου, όπως την Google, και γενικότερα από ιστοσελίδες αναζήτησης για να κατεβάζουν το περιεχόμενο, να το αρχειοθετούν ούτως ώστε να προσφέρουν γρήγορα αποτελέσματα αναζήτησης.
Οι αξιωματούχοι που ασχολούνται με την έρευνα πιστεύουν ότι ο Snowden απέκτησε πρόσβαση σε 1,7 εκατομμύρια αρχεία.
