Python: Αυτοματοποίηση & ανάλυση δεδομένων του Covid 19

Παρακάτω θα δούμε πως μπορούμε να πάρουμε δεδομένα από μια ιστοσελίδα (Web scraping) και κατόπιν να τα αναλύσουμε και να βγάλουμε στατιστικά συμπεράσματα χρησιμοποιώντας την γλώσσα προγραμματισμού Python.

Δε θα μπω στην διαδικασία επεξήγησης του κώδικα, τα script είναι έτοιμα και διατίθενται δωρεάν στο GitHub και μπορεί να τα χρησιμοποιήσει ο καθένας ή να τα παραμετροποιήσει κατά το δοκούν!

Τι είναι το Web scraping;

Με τον όρο Web scraping εννοούμε την εξαγωγή δεδομένων από έναν ιστότοπο χρησιμοποιώντας ένα πρόγραμμα λογισμικού. Υπάρχουν πολλά προγράμματα αυτού του τύπου, όπως το ScrapeStorm που κάνει πολύ καλή δουλειά, αλλά δεν είναι δωρεάν.. Με τη δωρεάν έκδοση μπορείς να το χρησιμοποιήσεις μόνο μια φορά τη μέρα και μπορεί να σου εξάγει μόνο 100 γραμμές ενός πίνακα τη φορά. Αλλιώς πρέπει να πληρώσεις περίπου 50€ τον μήνα για να έχεις πλήρη λειτουργία! Εννοείται πως όχι!

Προφανώς και αυτό εμένα δε με κάλυπτε οπότε έγραψα το δικό μου script σε Python που κάνει εξαγωγή τα πάντα από τη σελίδα του wordometers.

Μπορείτε να δείτε τον κώδικα εδώ.

Πως λειτουργεί το script του scrap;

Το script είναι απλό, αφού θα δείτε είναι μόνο 15 γραμμές κώδικα μαζί με τα κενά. Χρησιμοποιεί ένα πακέτο, το covid 2.2.6, που δημιουργήθηκε από το πανεπιστήμιο Johns Hopkins και μας βοηθά να συγκεντρώσουμε τα στοιχεία που θέλουμε από την παραπάνω ιστοσελίδα. Αυτό που έκανα εγώ είναι να συγκεντρώνω όλα αυτά τα δεδομένα σε ένα .csv αρχείο για να μπορούμε αργότερα να τα επεξεργαστούμε με κάποια γλώσσα προγραμματισμού. Με λίγα λόγια, δημιουργώ μια βάση δεδομένων επί καθημερινής βάσεως, μόνο με το πάτημα ενός κουμπιού και πάνω απ΄όλα δωρεάν! Σώζω αυτήν τη βάση στο GitHub και μπορώ να τη χρησιμοποιώ από οπουδήποτε.

  Κυκλοφόρησαν τα Windows 10 IoT Core

Εδώ μπορείτε να δείτε το .csv αρχείο με όλα τα δεδομένα ανά χώρα, ήπειρο κτλ.

Script για την ανάλυση δεδομένων με Python.

To script παίρνει σαν input τα δεδομένα από το παραπάνω αρχείο .csv και κάνει όποια ανάλυση του ορίσω εγώ. Του έχω ορίσει να υπολογίζει τα παρακάτω.

  • Υπολογισμός θνητότητας για κάθε χώρα
  • Υπολογισμός θνησιμότητας για κάθε χώρα
  • Υπολογισμός μόλυνσης επί τοις εκατό του πληθυσμού για κάθε χώρα
  • Επί τοις εκατό αύξηση κρουσμάτων σε σχέση με χτες
  • Επί τοις εκατό αύξηση θανάτων σε σχέση με χτες
  • Επί τοις εκατό σοβαρών κρουσμάτων
  • Επί τοις εκατό όσων ανάρρωσαν
  • Επί τοις εκατό ενεργών κρουσμάτων
  • Κρούσματα ανά δέκα χιλιάδες του πληθυσμού κάθε χώρας
  • Κρούσματα ανά ένα εκατομμύριο του πληθυσμού κάθε χώρας
  • Εκτυπώνει ένα Pie chart με τα σημαντικά στοιχεία για κάθε χώρα
  • Πόσα τεστ έγιναν και το ποσοστό των τεστ που βγήκε θετικό

Εδώ μπορείτε να δείτε τον κώδικα του script GitHub

Παράδειγμα του output του script για την Ελλάδα.

python

Ουσιαστικά αυτό που καταφέρνουμε με την Python και με όλες τις γλώσσες προγραμματισμού είναι, γράφοντας μια φορά τον κώδικα του τι θέλουμε να κάνει ένα πρόγραμμα, αυτό θα κάνει κάθε φορά τους ίδιους υπολογισμούς σε δευτερόλεπτα, ανάλογα με τα στοιχεία που θα του εισάγουμε κάθε φορά!

  Τα Google X Labs ετοιμάζουν τη μπαταρία του μέλλοντος
python

Για χρήστες Windows

Μπορείτε να κατεβάσετε από εδώ το .exe του script για υπολογιστές με Windows. Αρκεί να κάνετε 2πλο κλικ στο .exe που θα κατεβάσετε και θα σας βγάλει τα δεδομένα όποιας από τις παρακάτω χώρες ή ήπειρο επιλέξετε:

  • WORLD
  • ITALY
  • SPAIN
  • GERMANY
  • NETHERLANDS
  • BELGIUM
  • GREECE
  • FRANCE
  • NORWAY
  • PORTUGAL
  • SWEDEN
  • DENMARK
  • LUXEMBOURG
  • FINLAND
  • AUSTRIA
  • CZECHIA
  • IRELAND
  • ICELAND
  • CYPRUS
  • SWITZERLAND
  • UK
  • NORTH AMERICA
  • EUROPE
  • ASIA
  • SOUTH AMERICA
  • OCEANIA
  • AFRICA
  • USA

Το input της χώρας/ηπείρου πρέπει να είναι πάντα με λατινικούς χαρακτήρες και με κεφαλαία όπως φαίνεται παραπάνω. Για να δείτε το διάγραμμα πρέπει να εγκαταστήσετε την παρακάτω βιβλιοθήκη pymetasploit3 απλά ανοίγοντας το τερματικό των Windows  και γράφοντας το παρακάτω.

pip install pymetasploit3

Πατάτε το enter και περιμένετε μέχρι να ολοκληρωθεί.

Για χρήστες Linux

Οι χρήστες Linux μπορούν να τρέξουν το script κατευθείαν από το τερματικό, κατεβάζοντας αυτό το αρχείο και αφού έχουν πρωτίστως  εγκαταστήσει την Python στον υπολογιστή τους.

sudo apt install python3
sudo apt install pythonpy
pip install pymetasploit3

Αφού εγκατασταθούν όλα τα παραπάνω (και ότι άλλο σας προειδοποιήσει το τερματικό ότι λείπει), ανοίγετε το τερματικό στην καρτέλα που αποθηκεύσατε το script, τρέχετε το παρακάτω

py worldmeters_analysis.py

Πατάτε enter και αν δεν υπάρχει κάποιο λάθος θα τρέξει και θα σας ρωτήσει να εισάγετε χώρα ή ήπειρο ακριβώς όπως περιγράφεται και για τους χρήστες Windows.

GitHub

Worldometers

Ακολουθήσετε μας στο Google News iGuRu.gr at Google news

Written by Giorgos Koliou

Αφήστε μια απάντηση

Η ηλ. διεύθυνση σας δεν δημοσιεύεται.

Το μήνυμα σας δεν θα δημοσιευτεί εάν:
1. Περιέχει υβριστικά, συκοφαντικά, ρατσιστικά, προσβλητικά ή ανάρμοστα σχόλια.
2. Προκαλεί βλάβη σε ανηλίκους.
3. Παρενοχλεί την ιδιωτική ζωή και τα ατομικά και κοινωνικά δικαιώματα άλλων χρηστών.
4. Διαφημίζει προϊόντα ή υπηρεσίες ή διαδικτυακούς τόπους .
5. Περιέχει προσωπικές πληροφορίες (διεύθυνση, τηλέφωνο κλπ).


13  +    =  19