Ότι θα ήθελες να ξέρεις για το GPT-3 (και ντρέπεσαι να το ρωτήσεις) | του Γιάννη Χατζηχρήστου
Το GPT-3 είναι ένα μοντέλο μηχανικής μάθησης (machine learning ή ML) που περιγράφει τον εαυτό του ως «ένα φιλικό, αυτοδίδακτο, σκεπτόμενο ρομπότ που μπορεί να μάθει και να βελτιώσει τις εργασίες χωρίς να είναι ρητά προγραμματισμένο να το κάνει» .
Για να δούμε αν λέει αλήθεια ως προς τον αυτoπροσδιορισμό του και ποια είναι τα όρια του:
Η Open AI κυκλοφόρησε το GPT-3 το 2020 ως o καλύτερος και μεγαλύτερος διάδοχος του προηγούμενου μοντέλου γλώσσας (LM) GPT-2. Όσον αφορά την παραγωγή κειμένου που φαίνεται να έχει γραφτεί από άνθρωπο, το GPT-3 υπερέχει όλων των προηγούμενων μοντέλων. Με εξαίρεση ίσως γλώσσες όπως τα ελληνικά, όπου το συντακτικό του είναι επιπέδου Χρυσαυγίτη απόφοιτου 3ης Δημοτικού ακόμα. Δεν κάνει όμως ορθογραφικά λάθη.
Με περισσότερες από 175 δισεκατομμύρια παραμέτρους μηχανικής μάθησης, είναι το μεγαλύτερο νευρωνικό δίκτυο που έχει παραχθεί ποτέ, ενώ το μεγαλύτερο εκπαιδευμένο μοντέλο γλώσσας πριν από το GPT-3 ήταν το μοντέλο Turing NLG της Microsoft, το οποίο είχε 10 δισεκατομμύρια παραμέτρους.
Μεγάλη επιτυχία του marketing της Microsoft, που εξαγόρασε πρόσφατα την εταιρία που το κατασκεύασε, είναι ότι κατάφερε να έχει 10.000.000 χρήστες του μέσα σε λίγες μέρες, σε μια απελπισμένη προσπάθεια του γίγαντα της Πληροφορικής να ανακάμψει στον χαμένο πόλεμο των «ψαχτηριών» στο internet. Δηλαδή στην μπίζνα συγκέντρωσης δεδομένων για χειραγώγηση αγορών και συνειδήσεων.
■ Που μπορεί να εφαρμοστεί καλά
►Κωδικοποίηση και περίληψη
Το GPT-3 μπορεί να δημιουργήσει οποιαδήποτε δομή κειμένου, όχι μόνο κείμενο ανθρώπινης γλώσσας. Μπορεί επίσης να δημιουργήσει περιλήψεις κειμένου και ακόμη και κώδικα προγραμματισμού αυτόματα ή για να μεταφράσει ένα πρόγραμμα υπολογιστών από μια γλώσσα προγραμματισμού σε μια άλλη.
Το Copilot, το οποίο τροφοδοτείται από το GPT-3, χρησιμοποιείται από προγραμματιστές για τη σύνταξη κώδικα (δημιουργεί το 40% του πρόσφατα γραμμένου κώδικα)
►Γράψιμο
Το GPT-3 έχει εκπαιδευτεί να δημιουργεί ρεαλιστικό ανθρώπινο κείμενο από κείμενα στο Διαδίκτυο προκειμένου να δημιουργεί άρθρα, ιστορίες, αναφορές ειδήσεων και διαλόγους. Χρησιμοποιείται ήδη, με πολύ προβοκατόρικο τρόπο, και για την παραγωγή «επιστημονικά papers» ή άλλων εργασιών που αντιγράφουν άλλες προηγούμενες
(αδυνατεί, όπως το παραδέχεται, να λύσει οποιοδήποτε άλυτο ακόμα πρόβλημα από την ανθρώπινη φυσική ευφυΐα).
►Αυτοματοποιημένες συνομιλίες
Το GPT-3 χρησιμοποιείται επίσης για αυτοματοποιημένες εργασίες συνομιλίας, όπως η απάντηση σε οποιοδήποτε κείμενο που πληκτρολογεί ένα άτομο στον υπολογιστή με ένα νέο κομμάτι κειμένου που είναι κατάλληλο για τα συμφραζόμενα. Χρήση κυρίως στις μηχανές εξυπηρέτησης πελατών
►Διαχείριση Κινδύνων
Το GPT-3 χρησιμοποιείται για τη δημιουργία αξιολογήσεων κινδύνου αυτόματα με βάση τον τίτλο κινδύνου, τις αιτίες, τους ελέγχους πρόληψης, τις συνέπειες και τις επιπτώσεις, τους ελέγχους ανάκτησης και μετριασμού και άλλους παράγοντες.
Άγνωστο το πως θα διαχειρίζονταν φυσικούς κινδύνους. Σαν τον Στυλιανίδη (του φευγάτου η μάνα ποτέ δεν έκλαψε) με αστυνομικού τύπου επιχειρήσεις ή στέλνοντας τα ΕΚΑΜ για σεισμό. Ρωτήστε το…
►Μεταγραφές-πρακτικά
Το GPT-3 μπορεί να χρησιμοποιηθεί για την αυτόματη σύνοψη μεταγραφών ή δημιουργίας πρακτικών συσκέψεων.
►Σχεδιασμός παιχνιδιών
Το GPT-3 μπορεί να χρησιμοποιηθεί στη σχεδίαση παιχνιδιών, όπου οι προγραμματιστές χρησιμοποιούν φωνητικές εντολές που αποστέλλονται στο GPT-3 για να τους βοηθήσουν να δημιουργήσουν και να σχεδιάσουν αντικείμενα επαυξημένης πραγματικότητας.
►Εντοπισμός πηγών μαύρου χρήματος επί συναλλαγών που γίνονται με ψηφιακό χρήμα τεχνολογίας blockchain.
Ευκολάκι αυτό, λόγω των τεχνολογιών blockchain, αν και επίπονο στο ψάξιμο.
►Εκμάθηση «λίγων βολών»
Η εκμάθηση λίγων βολών είναι η πρακτική της τροφοδοσίας ενός μοντέλου μηχανικής μάθησης με μια μικρή ποσότητα δεδομένων εκπαίδευσης προκειμένου να γίνουν προβλέψεις.
Είναι ευρέως γνωστό ότι οι τυπικές τεχνικές μικρορύθμισης απαιτούν μεγάλο όγκο δεδομένων εκπαίδευσης ώστε το προεκπαιδευμένο μοντέλο να προσαρμοστεί με ακρίβεια στις εργασίες.
Από την άλλη πλευρά, η εκμάθηση με λίγες λήψεις-βολές μπορεί να χρησιμοποιηθεί στο NLP με γλωσσικά μοντέλα που έχουν προεκπαιδευτεί μόνο σε ήδη μεγάλα σύνολα δεδομένων. Σαν αυτά που συλλέγει μανιωδώς ο Ζούκη ή ο Μητσοτάκης με το predator.
Και αφού εκπαιδευτούν σε ορισμένα παραδείγματα, αυτά τα μοντέλα μπορούν στη συνέχεια να κατανοήσουν σχετικές και προηγουμένως άγνωστες εργασίες.
►Μηδενική Εκμάθηση
Η εκμάθηση μηδενικής βολής (ZSL) είναι η διαδικασία εκπαίδευσης ενός μοντέλου για να κάνει κάτι που δεν είχε ρητά εκπαιδευτεί να κάνει.
Είναι απαραίτητο να παρέχεται κάποιο είδος περιγραφής για μια άγνωστη κλάση προκειμένου ένα μοντέλο να προβλέψει αυτήν την κλάση χωρίς δεδομένα εκπαίδευσης.
Ωστόσο, διαφορετικές μέθοδοι μηδενικής ρίψης μπορεί να έχουν διαφορετικούς κανόνες για τους τύπους περιγραφικών κλάσεων που επιτρέπονται, γι’ αυτό είναι σημαντικό να του παρέχουμε το σχετικό πλαίσιο για να λάβουμε ακριβή αποτελέσματα.
Σε απλά ελληνικά, «μαθαίνει» να αποκρίνεται πιο έξυπνα όσο το χρησιμοποιούμε περισσότερο, χωρίς να αυξάνεται η γνώση του!
■ Σχετικά με το ChatGPT
Το ChatGPT είναι ένα chat bot, δηλαδή ένα πρόγραμμα επικοινωνίας με τον χρήστη με τεχνητή νοημοσύνη που χρησιμοποιεί το πλαίσιο συνομιλίας για να διδάξει στο NLP, στην μηχανή δηλαδή του συστήματος, πώς να συνομιλεί με τους ανθρώπους.
Προορίζεται για την κατανόηση της φυσικής γλώσσας και την κατάλληλη απόκριση, διευκολύνοντας τους χρήστες να επικοινωνούν με υπολογιστές.
■ Σημασία του ChatGPT
Είναι σχετικά καλό εργαλείο αύξησης της παραγωγικότητας για:
-Δημιουργία σύνθετων chatbots που μπορούν να παρέχουν λεπτομερείς πληροφορίες ή να εκτελούν εργασίες.
-Παροχή εξατομικευμένων προτάσεων με βάση τις ανάγκες των χρηστών.
-Εξοικονόμηση χρόνου και προσπάθειας αυτοματοποιώντας σχετικά απλές εργασίες.
-Απαντώντας σε ερωτήσεις γρήγορα και με ακρίβεια.
■ Πλεονεκτήματα του GPT-3
Το πιο προφανές πλεονέκτημα του GPT-3 είναι ότι μπορεί να δημιουργήσει μεγάλες ποσότητες κειμένου, καθιστώντας τη δημιουργία περιεχομένου που βασίζεται σε κείμενο ευκολότερη και πιο αποτελεσματική, παρέχοντας και υπηρεσίες μετάφρασης, συγγραφής κειμένων κλπ
Το GPT-3 δεν είναι όμως το πρώτο μοντέλο χρήσης της φυσικής γλώσσας για την επεξεργασία μεγάλου όγκου δεδομένων. Σίγουρα είναι όμως αποτελεσματικό ως προς αυτό, με κύριο (απ ότι φαίνεται) σκοπό του, να κάνει την τεχνολογία ΑΙ αποδεκτή για μαζική χρήση επί του υφιστάμενο μοντέλου web2.0 του ίντερνετ. Προσπαθεί να το διασώσει με τερτίπια του τύπου «δεν γνωρίζω αυτό το θέμα γιατί διδάχθηκα με δεδομένα μέχρι το 2021» αν το «στριμώξετε» με καμία δύσκολη ερώτηση του τύπου «λύσε μου το Κυπριακό», οπότε και αερολογεί χαζά σαν καλός διπλωμάτης. Και αρνείται να κάνει search σε άλλα ψαχτήρια, όπως πχ με το Google search. Θα είναι μάλλον τσακωμένο με το εκεί ΑΙ που προσπαθεί ανάλογα (λανσάρεται από την Google, ενώ οι Κινέζοι ετοιμάζουν παρόμοιο επί του Tic-Toc)
Το GPT-3, ως εκ τούτου, έχει πληθώρα περιορισμών και αδυναμιών, που όλες σχετίζονται και με ανυπέρβλητους νόμους και κανόνες των μαθηματικών και των αλγορίθμων (γνωστούς από το 1935) για τα όρια της λεγόμενης τεχνητής νοημοσύνης. Δεν νοείται νοημοσύνη χωρίς κάποια αυτογνωσία. Τέλος.
■ Mη πλεονεκτήματα του GPT-3
Το κύριο πρόβλημα με το GPT-3 είναι ότι δεν μπορεί να μαθαίνει συνεχώς. Επειδή έχει προ-εκπαιδευτεί, δεν έχει συνεχή μακροπρόθεσμη μνήμη που να μαθαίνει από κάθε αλληλεπίδραση.
Επιπλέον, το GPT-3 δεν είναι σε θέση να εξηγήσει και να ερμηνεύσει γιατί συγκεκριμένες είσοδοι καταλήγουν σε συγκεκριμένες εξόδους, κάτι που είναι ένας κοινός περιορισμός σε όλα τα νευρωνικά δίκτυα. Ως εκ τούτου, δύσκολα μπορεί να περάσει τα τεστ-νομικές προϋποθέσεις που έχει θέσει η ΕΕ για την AI, αφού μπορεί έτσι να χειραγωγηθεί εύκολα για να χειραγωγήσει ανθρώπους ή συστήματα.
►Συμπέρασμα
Το GPT-3 μπορεί να κατανοήσει κείμενο και να γράψει σαν άνθρωπος, κάτι που ανοίγει σχεδόν απεριόριστες δυνατότητες για την εφαρμογή του.
Ωστόσο, απέχει πολύ από το να είναι τέλειο, γι’ αυτό το OpenAI σχεδιάζει να δημιουργήσει μεγαλύτερες, λιγότερο περιορισμένες και πιο συγκεκριμένες εκδόσεις των μοντέλων του σε ένα ευρύτερο φάσμα κειμένων, καθώς και με περισσότερες περιπτώσεις χρήσης, που θα διατίθενται με συνδρομή.
Οπότε μην τρελαίνεστε με τα παιχνίδια του marketing. Και αυτά, όπως και ο Μητσοτάκης, ενδιαφέρονται για την επικοινωνία και όχι για την λύση προβλημάτων, όντας υπoχείριo ενός σχεδιαστή από το τμήμα marketing-επικοινωνίας.
Γιάννης Χατζηχρήστος
Ο Γιάννης Χατζηχρήστος γεννήθηκε το 1958 στην Αθήνα. Αφού αποφοίτησε από το Μαθηματικό Τμήμα του Πανεπιστημίου Πατρών συμμετείχε στην υλοποίηση σύνθετων έργων πληροφορικής και επικοινωνιών στον δημόσιο και ιδιωτικό τομέα για πολλά χρόνια. Από οικογένειες από την μια μεριά συντηρητικών Κωνσταντινουπολιτών (από την πλευρά του πατέρα του) και μελών του ΚΚΕ/ΕΛΑΣ από την άλλη (από την πλευρά της μητέρας του), δραστηριοποιήθηκε στην Αριστερά από τα μαθητικά του χρόνια, το 1973.
Τα τελευταία χρόνια ανέπτυξε δράση για την εμπέδωση της αμεσοδημοκρατίας στην Αριστερά και την αυτοδιοίκηση. Ενδιαφέρεται για την ανάπτυξη του κοινωνικού μη κρατικού τομέα της οικονομίας ως βασικού μοχλού ανάπτυξης, κυρίως στον πρωτογεννή και τον χρηματοπιστωτικό τομέα, καθώς και για την ανάπτυξη νέων μη ιεραρχικών ενεργειακών δικτύων. Τα ιδιαίτερα ενδιαφέροντα του εστιάζονται κυρίως στην Εφαρμογή της δημοκρατίας & της Αμεσοδημοκρατίας στην Τοπική Αυτοδιοίκηση, στον Κοινωνικό Τομέα Οικονομίας, στην Ενεργειακή Πολιτική, στις Πολιτικές Υγείας, στην Αγροτική Πολιτική καθώς και στην Πληροφορική και Παραγωγική Ανασυγκρότηση.
Έχει εκδώσει τα βιβλία:
Ανασκαφή στο μέλλον, μυθιστόρημα, Βιβλιοπωλείον της Εστίας, 2006
Το φ του φόβου, μυθιστόρημα, 2014
