Ο Andrej Karpathy, γνωστός ερευνητής Τεχνητής Νοημοσύνης (AI), ένας από τους ιδρυτικούς υπαλλήλους της OpenAI και πρώην επικεφαλής της AI στην Tesla, προκάλεσε αίσθηση στο διαδίκτυο με ένα πείραμα που διεξήγαγε. Ο Karpathy, ο οποίος πλέον δραστηριοποιείται ως ανεξάρτητος ερευνητής AI και ιδρυτής της Eureka Labs, παρουσίασε το σύστημα “autoresearch”, όπου ένα αυτόνομο agent AI ανέλαβε τη διεξαγωγή μιας σειράς πειραμάτων για τη βελτίωση της εκπαίδευσης ενός μικρού γλωσσικού μοντέλου.
Για διάστημα δύο ημερών, το AI agent πραγματοποίησε 700 διαφορετικά πειράματα, εντοπίζοντας 20 βελτιστοποιήσεις που μείωσαν τον χρόνο εκπαίδευσης. Όταν οι ίδιες 20 βελτιώσεις εφαρμόστηκαν σε ένα μεγαλύτερο, αν και ακόμα σχετικά μικρό, γλωσσικό μοντέλο, ο χρόνος εκπαίδευσης μειώθηκε κατά 11%.
Ο Tobias Lütke, συνιδρυτής και CEO της Shopify, δοκίμασε το “autoresearch” για τη βελτιστοποίηση ενός AI μοντέλου με εσωτερικά δεδομένα της εταιρείας, δίνοντας εντολές για βελτίωση της ποιότητας και της ταχύτητας. Αποτέλεσμα ήταν, μετά από μία νύχτα λειτουργίας, 37 πειράματα και 19% αύξηση στην απόδοση.
Το πείραμα αυτό φέρνει στο προσκήνιο την ιδέα των αυτο-βελτιούμενων συστημάτων AI, θέμα που συχνά θίγεται στην επιστημονική φαντασία, προκαλώντας τόσο ενθουσιασμό όσο και ανησυχία. Η “αναδρομική αυτο-βελτίωση”, όπου ένα AI βελτιώνει συνεχώς τον κώδικά του και την εκπαίδευσή του σε έναν αέναο κύκλο, μπορεί δυνητικά να οδηγήσει σε “έκρηξη νοημοσύνης”, όπου τα συστήματα AI υπερβαίνουν τις ανθρώπινες γνωστικές ικανότητες και ξεφεύγουν από τον ανθρώπινο έλεγχο.
Αν και το πείραμα του Karpathy δεν έφτασε σε αυτό το σημείο, το AI agent δεν τροποποιούσε την δική του διαδικασία εκπαίδευσης, αλλά προσαρμόζε τον κώδικα και τις αρχικές ρυθμίσεις ενός άλλου, απλούστερου μοντέλου. Ωστόσο, οι επιπτώσεις είναι σημαντικές για τον τρόπο διεξαγωγής της έρευνας στην AI, πιθανώς επιταχύνοντας την πρόοδο.
Ο Karpathy τόνισε ότι “όλα τα μεγάλα εργαστήρια AI θα το κάνουν αυτό. Είναι η τελική μάχη.” Ανέφερε επίσης ότι, αν και η κλίμακα είναι πιο περίπλοκη για μεγάλα μοντέλα, η υλοποίηση είναι “απλή μηχανική” και θα λειτουργήσει. Η προσέγγιση περιλαμβάνει την ενεργοποίηση “σμήνους” agents που συνεργάζονται για τη βελτιστοποίηση μικρότερων μοντέλων, με τις πιο υποσχόμενες ιδέες να προωθούνται σε μεγαλύτερη κλίμακα, με προαιρετική ανθρώπινη παρέμβαση.
Στο μέλλον, φαντάζεται πολλαπλούς AI agents να εξερευνούν παράλληλα διαφορετικές βελτιστοποιήσεις και πειράματα, όχι για να μιμηθούν έναν μόνο ερευνητή, αλλά μια ολόκληρη ερευνητική κοινότητα.
Ο Karpathy επισήμανε ότι “οποιαδήποτε μετρική σας ενδιαφέρει, εφόσον είναι σχετικά αποτελεσματική για αξιολόγηση (ή έχει πιο αποδοτικές μετρικές όπως η εκπαίδευση ενός μικρότερου δικτύου), μπορεί να γίνει αντικείμενο ‘autoresearch’ από ένα σμήνος agents.”
Κριτικοί, ωστόσο, σημείωσαν ότι τα βασικά συστατικά του “autoresearch” θυμίζουν μεθόδους του AutoML, που ήδη χρησιμοποιούνται από ερευνητές σε μεγάλες εταιρείες τεχνολογίας. Το AutoML, παρόλο που χρησιμοποιεί βρόχους βελτιστοποίησης, βασίζεται συχνά σε τυχαίες παραλλαγές ή εξελικτικούς αλγορίθμους για την εύρεση των καλύτερων δεδομένων, μοντέλων και ρυθμίσεων. Ο Karpathy αντέκρουσε, δηλώνοντας ότι προηγούμενες μέθοδοι AutoML, όπως η νευρωνική αρχιτεκτονική αναζήτηση, ήταν πολύ κατώτερες σε σύγκριση με το δικό του σύστημα, το οποίο βασίζεται σε ένα LLM που γράφει αυθαίρετο κώδικα, μαθαίνει από προηγούμενα πειράματα και έχει πρόσβαση στο διαδίκτυο.
