Η ομάδα καινοτομίας της Mozilla και η Justine Tunney μόλις κυκλοφόρησαν το llamafile. Νομίζω ότι είναι πλέον ο καλύτερος τρόπος για να ξεκινήσετε να τρέχετε Large Language Models (σκεφτείτε ένα δικό σας ChatGPT) στον υπολογιστή σας.
Το llamafile είναι ένα ενιαίο αρχείο πολλών GB που περιέχει τόσο την γνώση του LLM μοντέλου αλλά και τον κώδικα που απαιτείται για να τρέξει. Σε ορισμένες περιπτώσεις θα χρειαστείτε ένα πλήρη τοπικό διακομιστή και ένα web browser για την αλληλεπίδραση μαζί του.
Το εκτελέσιμο έχει μεταγλωττιστεί χρησιμοποιώντας το Cosmopolitan Libc, το απίστευτο έργο της Justine που υποστηρίζει τη μεταγλώττιση ενός ενιαίου δυαδικού αρχείου που λειτουργεί, χωρίς τροποποίηση, σε πολλά διαφορετικά λειτουργικά συστήματα και αρχιτεκτονικές hardware.
Παρακάτω θα δούμε πώς μπορείτε να ξεκινήσετε με το LLaVA 1.5, ένα μεγάλο πολυτροπικό μοντέλο (που σημαίνει ότι μπορεί να λειτουργήσει με κείμενο και εικόνα, όπως το GPT-4 Vision) βελτιστοποιημένο πάνω από το Llama 2.
Φροντίστε να διαβάσετε την ενότητα Gotchas του README και να ρίξετε μια ματιά στη λίστα με τις υποστηριζόμενες πλατφόρμες της Justine.
Κατεβάστε το αρχείο llamafile-server-0.1-llava-v1.5-7b-q4 4,26 GB από το αποθετήριο της Justine στο Hugging Face.
curl -LO https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-server.llamafile
Κάντε αυτό το binary εκτελέσιμο, με την εντολή:
chmod 755 llava-v1.5-7b-q4-server.llamafile
Τρέξτε το νέο σας εκτελέσιμο αρχείο, το οποίο θα ξεκινήσει ένα web server στη θύρα 8080:
./llava-v1.5-7b-q4-server.llamafile
Ανοίξτε την εσωτερική διεύθυνση http://127.0.0.1:8080/ αν δεν ανοίξει μόνη της στον browser σας για να ξεκινήσετε την αλληλεπίδραση με το μοντέλο σας.
Στα Windows, μπορεί να χρειαστεί να μετονομάσετε το αρχείο .llamafile σε llamafile.exe για να μπορέσετε να το τρέξετε. Τα Windows επιτρέπουν επίσης ένα maximum file size στα 4GB για τα executables. Το LLaVA server executable είναι μόνο 30MB και θα τρέξει στα Windows, αλλά για μεγαλύτερα μοντέλα όπως το WizardCoder 13B, θα πρέπει να αποθηκεύσετε τα δεδομένα σε ένα ξεωριστό αρχείο.
Τo README δίνει παραδείγματα πως μπορείτε να το κάνετε με το PowerShell.
