Πως λειτουργούν το ChatGPT και τα άλλα LLM

Της Ηλιάνας Θέμελη

Chatbots με τη δύναμη της Τεχνητής Νοημοσύνης, όπως το ChatGPT και το Google Bard, έχουν σίγουρα την τιμητική τους - η επόμενη γενιά εργαλείων λογισμικού για συνομιλίες υπόσχεται να κάνει τα πάντα, από την ανάληψη των αναζητήσεών μας στο διαδίκτυο μέχρι την παραγωγή ατελείωτης δημιουργικής λογοτεχνίας και τη μνήμη όλων των γνώσεων του κόσμου, ώστε να μη χρειάζεται να τη θυμόμαστε εμείς.

Το ChatGPT, το Google Bard και άλλα παρόμοια bots είναι παραδείγματα μεγάλων γλωσσικών μοντέλων (Large Language Models ή LLMs). Όπως και πολλά συστήματα τεχνητής νοημοσύνης -όπως αυτά που έχουν σχεδιαστεί για να αναγνωρίζουν τη φωνή μας ή να δημιουργούν εικόνες γάτας- τα LLM εκπαιδεύονται σε τεράστιες ποσότητες δεδομένων. Οι εταιρείες που βρίσκονται πίσω από αυτά είναι μάλλον επιφυλακτικές όταν πρόκειται να αποκαλύψουν από πού ακριβώς προέρχονται αυτά τα δεδομένα, αλλά υπάρχουν ορισμένες ενδείξεις που μπορούμε να εξετάσουμε.

Για παράδειγμα, το ερευνητικό έγγραφο που παρουσιάζει το μοντέλο LaMDA (Language Model for Dialogue Applications), στο οποίο βασίζεται το Bard, αναφέρει τη Wikipedia, "δημόσια φόρουμ" και "έγγραφα κώδικα από ιστότοπους που σχετίζονται με τον προγραμματισμό, όπως ιστότοποι ερωτήσεων και απαντήσεων, σεμινάρια κ.λπ.". Εν τω μεταξύ, το Reddit θέλει να αρχίσει να χρεώνει την πρόσβαση στις συνομιλίες που βρίσκονται στην ιστοσελίδα του, ενώ το StackOverflow μόλις ανακοίνωσε ότι σχεδιάζει να αρχίσει να χρεώνει. Το συμπέρασμα εδώ είναι ότι τα LLMs έκαναν εκτεταμένη χρήση και των δύο ιστότοπων μέχρι τώρα ως πηγές, εντελώς δωρεάν και στις πλάτες των ανθρώπων που δημιούργησαν και χρησιμοποίησαν αυτές τις πηγές. Είναι σαφές ότι πολλά από όσα είναι δημοσίως διαθέσιμα στο διαδίκτυο έχουν ανακτηθεί και αναλυθεί από LLMs.

Όλα αυτά τα δεδομένα κειμένου, απ' όπου κι αν προέρχονται, υποβάλλονται σε επεξεργασία μέσω ενός νευρωνικού δικτύου, ενός ευρέως χρησιμοποιούμενου τύπου τεχνητής νοημοσύνης που αποτελείται από πολλούς κόμβους και επίπεδα. Αυτά τα δίκτυα προσαρμόζουν συνεχώς τον τρόπο με τον οποίο ερμηνεύουν και κατανοούν τα δεδομένα με βάση πλήθος παραγόντων, συμπεριλαμβανομένων των αποτελεσμάτων προηγούμενων δοκιμών και σφαλμάτων. Τα περισσότερα LLM χρησιμοποιούν μια συγκεκριμένη αρχιτεκτονική νευρωνικού δικτύου που ονομάζεται μετασχηματιστής (“transformer”), η οποία διαθέτει ορισμένα τεχνάσματα που είναι ιδιαίτερα κατάλληλα για την επεξεργασία γλωσσών. Το GPT μετά το Chat σημαίνει Generative Pretrained Transformer.

Συγκεκριμένα, ένας μετασχηματιστής μπορεί να διαβάσει τεράστιες ποσότητες κειμένου, να εντοπίσει μοτίβα στον τρόπο με τον οποίο οι λέξεις και οι φράσεις σχετίζονται μεταξύ τους και στη συνέχεια να κάνει προβλέψεις σχετικά με το ποιες λέξεις θα πρέπει να ακολουθήσουν. Μπορεί να έχετε ακούσει τα LLM να συγκρίνονται με υπερ-τροφοδοτούμενες μηχανές αυτόματης διόρθωσης, και στην πραγματικότητα αυτό δεν απέχει πολύ από τον στόχο: Τα ChatGPT και Bard δεν "ξέρουν" πραγματικά τίποτα, αλλά είναι πολύ καλοί στο να υπολογίζουν ποια λέξη ακολουθεί μια άλλη, κάτι που αρχίζει να μοιάζει με πραγματική σκέψη και δημιουργικότητα όταν φτάσει σε αρκετά προχωρημένο στάδιο.

Μία από τις βασικές καινοτομίες αυτών των μετασχηματιστών είναι ο μηχανισμός αυτοσυγκράτησης. Είναι δύσκολο να εξηγηθεί σε μια παράγραφο, αλλά στην ουσία σημαίνει ότι οι λέξεις μιας πρότασης δεν εξετάζονται μεμονωμένα, αλλά και σε σχέση μεταξύ τους με διάφορους εξελιγμένους τρόπους.Αυτό επιτρέπει ένα μεγαλύτερο επίπεδο κατανόησης από ό,τι θα ήταν διαφορετικά δυνατό.

Υπάρχει κάποια τυχαιότητα και κάποιες παραλλαγές ενσωματωμένες στον κώδικα, γι' αυτό και δεν θα λαμβάνετε κάθε φορά την ίδια απάντηση από ένα transformer chatbot. Αυτή η ιδέα της αυτόματης διόρθωσης εξηγεί επίσης πώς μπορούν να παρεισφρήσουν λάθη. Σε ένα θεμελιώδες επίπεδο, το ChatGPT και το Google Bard δεν γνωρίζουν τι είναι ακριβές και τι όχι. Ψάχνουν για απαντήσεις που φαίνονται αληθοφανείς και φυσικές και που ταιριάζουν με τα δεδομένα στα οποία έχουν εκπαιδευτεί.

Έτσι, για παράδειγμα, ένα ρομπότ μπορεί να μην επιλέγει πάντα την πιο πιθανή λέξη που ακολουθεί, αλλά τη δεύτερη ή την τρίτη πιο πιθανή. Αν το παρατραβήξετε αυτό, όμως, οι προτάσεις παύουν να βγάζουν νόημα, γι' αυτό και τα LLM βρίσκονται σε μια συνεχή κατάσταση αυτοανάλυσης και αυτοδιόρθωσης. Ένα μέρος της απάντησης εξαρτάται φυσικά από το είδος των δεδομένων που τα ταΐζουμε, γι' αυτό και μπορείτε να ζητήσετε από αυτά τα chatbots να απλοποιήσουν τις απαντήσεις τους ή να τις κάνουν πιο σύνθετες.

Μπορεί επίσης να παρατηρήσετε ότι το παραγόμενο κείμενο είναι μάλλον γενικό ή κλισέ - ίσως αναμενόμενο από ένα chatbot που προσπαθεί να συνθέσει απαντήσεις από γιγαντιαία αποθετήρια υπάρχοντος κειμένου. Κατά κάποιο τρόπο, αυτά τα ρομπότ παράγουν προτάσεις με τον ίδιο τρόπο που ένα λογιστικό φύλλο προσπαθεί να βρει τον μέσο όρο μιας ομάδας αριθμών, αφήνοντάς σας ένα αποτέλεσμα που είναι εντελώς ασήμαντο και μέτριο.

Σε όλα αυτά εμπλέκονται και οι άνθρωποι (οπότε δεν είμαστε ακόμα εντελώς περιττοί): τόσο οι εκπαιδευμένοι επόπτες όσο και οι τελικοί χρήστες βοηθούν στην εκπαίδευση των LLMsεπισημαίνοντας τα λάθη, κατατάσσοντας τις απαντήσεις ανάλογα με το πόσο καλές είναι και δίνοντας στο LLM αποτελέσματα υψηλής ποιότητας για να στοχεύσει. Τεχνικά, αυτό είναι γνωστό ως "ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση" (reinforcement learning on human feedback ή RLHF). Στη συνέχεια, τα LLM βελτιώνουν περαιτέρω τα εσωτερικά τους νευρωνικά δίκτυα για να έχουν καλύτερα αποτελέσματα την επόμενη φορά.

Καθώς αυτά τα LLM γίνονται μεγαλύτερα και πιο πολύπλοκα, οι δυνατότητές τους θα βελτιώνονται. Γνωρίζουμε ότι το ChatGPT-4 διαθέτει περίπου 100 τρισεκατομμύρια παραμέτρους, από 175 εκατομμύρια στο ChatGPT 3.5 - μια παράμετρος είναι μια μαθηματική σχέση που συνδέει λέξεις μέσω αριθμών και αλγορίθμων. Αυτό είναι ένα τεράστιο άλμα όσον αφορά την κατανόηση των σχέσεων μεταξύ των λέξεων και τη γνώση του τρόπου με τον οποίο μπορούν να συνδυαστούν για να δημιουργηθεί μια απάντηση.

Από τον τρόπο με τον οποίο εργάζονται τα LLMs, είναι σαφές ότι είναι άριστα στο να μιμούνται το κείμενο στο οποίο έχουν εκπαιδευτεί και να παράγουν κείμενο που ακούγεται φυσικό και ενημερωμένο. Μέσω της μεθόδου της "προηγμένης αυτόματης διόρθωσης" (advanced autocorrect), θα βρουν τα γεγονότα σωστά τις περισσότερες φορές.

Με πληροφορίες από: Wired, TechTarget, MLQ

Τα άρθρα και τα σχόλια που δημοσιεύονται στην ιστοσελίδα Athenian Herald εκφράζουν τους συγγραφείς τους. Η Athenian Herald δεν φέρει καμία ευθύνη για τις απόψεις που εκφράζονται μέσω της ιστοσελίδας.