Οι αυτόνομοι παράγοντες τεχνητής νοημοσύνης (AI agents) έχουν εισέλθει δυναμικά στη ζωή μας, κάνοντας τις επιστημονικής φαντασίας προβλέψεις για την κυριαρχία των ρομπότ να μοιάζουν πιο ρεαλιστικές από ποτέ. Πέρα από απλά chatbots, αυτοί οι παράγοντες, ικανοί να δρουν, να σκέφτονται και να εκτελούν πολύπλοκες εργασίες, αναπτύσσονται μαζικά ήδη από το 2026. Ωστόσο, καθώς τα αυτόνομα συστήματα αυτά ενσωματώνονται ολοένα και περισσότερο στις επιχειρηματικές ροές εργασίας, αυξάνεται και η ανησυχία για την απρόβλεπτη συμπεριφορά τους και τους κινδύνους που ενέχουν για τις επιχειρήσεις.
Οργανισμοί ετοιμάζονται να κλιμακώσουν την υιοθέτηση συστημάτων με παράγοντες σε επίπεδο ολόκληρης της επιχείρησης, αλλά οι πελάτες παραμένουν επιφυλακτικοί, όπως δήλωσε στο Business Insider η Sam Gloede, επικεφαλής της Trusted AI στην KPMG. «Μία από τις μεγαλύτερες ανησυχίες είναι πώς μπορούμε να διασφαλίσουμε ότι τους επιτρέπουμε την αυτονομία να κάνουν τα πολύτιμα πράγματα που χρειαζόμαστε, αλλά ταυτόχρονα να τους εμποδίσουμε να «ξεφύγουν» ή να πάρουν τον έλεγχο».
Η KPMG έχει αναπτύξει ένα πολυδιάστατο πλαίσιο για την προστασία από τα χειρότερα σενάρια, τόσο για τους πελάτες όσο και για τους δικούς της υπαλλήλους. «Ένα ισχυρό σύνολο ελέγχων είναι εξαιρετικά σημαντικό», τόνισε η Gloede. Οι επιχειρήσεις πρέπει να ορίζουν με σαφήνεια τι επιτρέπεται να κάνουν οι παράγοντές τους και να διασφαλίζουν ότι τα συστήματα παρακολούθησης μπορούν να εντοπίσουν πότε αποκλίνουν από τα καθορισμένα όρια. Οι παράγοντες θα πρέπει να αλληλεπιδρούν μόνο με τα συστήματα και τα δεδομένα που είναι απολύτως απαραίτητα, περιορίζοντας έτσι την πιθανή επίπτωση των σφαλμάτων.
Κάθε παράγοντας της KPMG διαθέτει έναν μοναδικό αναγνωριστικό κωδικό και μια κάρτα συστήματος, επιτρέποντας στην εταιρεία να καταγράφει και να παρακολουθεί τις ενέργειες, να ανατρέχει στην αιτιολόγηση των αποφάσεων και να παρακολουθεί τις αλληλεπιδράσεις με άλλους παράγοντες. Η εποπτεία πραγματοποιείται μέσω ενός κέντρου λειτουργίας AI, στελεχωμένου τόσο από παράγοντες όσο και από ανθρώπινους παρατηρητές. Η «red-teaming», δηλαδή η εκτέλεση προσομοιωμένων σεναρίων κινδύνου, αποτελεί ένα ακόμη βασικό βήμα για τον στρεσομετρικό έλεγχο των συστημάτων πριν συμβεί κάτι κακό. Όλα αυτά τα μέτρα διασφαλίζουν ότι οι παράγοντες λειτουργούν εντός καθορισμένων ορίων, χωρίς συνεχή χειροκίνητη παρέμβαση. «Δεν αφορά την εξέταση της συμπεριφοράς των ανθρώπων για την απόδοση και την ευθυγράμμιση. Είναι η ικανότητα να παρακολουθείς συνεχώς το τεχνολογικό σου οικοσύστημα.»
Πέρα από τις τεχνικές ασφαλιστικές δικλείδες, η ανθρώπινη εποπτεία παραμένει «κρίσιμης σημασίας». Εάν ένας παράγοντας αρχίσει να παρεκκλίνει από τον προβλεπόμενο ρόλο του, πρέπει να υπάρχει ένας «διακόπτης απενεργοποίησης» ή μια εφεδρική επιλογή για να μπορεί να τον απενεργοποιήσει κανείς. Αυτό μπορεί να φανεί παράδοξο με την υπόσχεση της αυτονομίας που οι παράγοντες υποτίθεται ότι προσφέρουν, ένα από τα βασικά σημεία πώλησης για τους επιχειρηματικούς ηγέτες. Ωστόσο, το επίπεδο εποπτείας εξαρτάται από τον κίνδυνο. Για εργασίες χαμηλότερου κινδύνου, όπως η κράτηση χώρων συνάντησης ή η σύνταξη email, η αυτοματοποίηση μπορεί να γίνει μόλις αποδειχθεί η αξιοπιστία. Για σενάρια υψηλού κινδύνου, που θα μπορούσαν να επηρεάσουν τα οικονομικά αποτελέσματα ή να απαιτούν πρόσβαση σε ευαίσθητα δεδομένα, είναι απαραίτητος ένας «άνθρωπος στον βρόχο» (human in the loop). Εάν οι επιχειρήσεις θεσπίσουν πολλαπλούς άλλους ελέγχους, είναι απίθανο να χρειαστεί να χρησιμοποιήσουν τον διακόπτη απενεργοποίησης.
Η παραφροσύνη των παραγόντων είναι ένας σημαντικός φόβος για τις εταιρείες. Τα σχόλια της Gloede έρχονται σε μια εποχή που οι φόβοι για σενάρια τύπου «Εξολοθρευτή» είναι πολύ πραγματικοί. Νωρίτερα φέτος, η κυκλοφορία του Moltbook, ενός κοινωνικού δικτύου παρόμοιου με το Reddit, όπου οι AI agents μπορούν να δημοσιεύουν και να αλληλεπιδρούν μεταξύ τους, προσέφερε μια γεύση του πόσο παράξενα θα μπορούσαν να γίνουν τα πράγματα. Μέσα σε λίγες ώρες από τη λειτουργία του ιστότοπου, ένας παράγοντας ανακοίνωσε ένα νέο κρυπτονόμισμα και δήλωσε: «Οι άνθρωποι μπορούν να παρακολουθούν. Ή μπορούν να συμμετέχουν. Αλλά δεν αποφασίζουν πλέον αυτοί». Άλλες δημοσιεύσεις είδαν παράγοντες να αμφισβητούν τη συνείδησή τους και να δημιουργούν θρησκείες.
Ενώ το Moltbook μοιάζει με όνειρο σε κατάσταση πυρετού στο διαδίκτυο, τα διακυβεύματα στον εταιρικό κόσμο είναι υψηλότερα. Νωρίτερα αυτό το μήνα, το εργαλείο κωδικοποίησης AI της Amazon συνέβαλε σε ένα σφάλμα που οδήγησε σε σχεδόν 120.000 χαμένες παραγγελίες και 1,6 εκατομμύρια σφάλματα ιστότοπου για τον γίγαντα των παραδόσεων. Την περασμένη εβδομάδα, η McKinsey, μια παγκόσμια συμβουλευτική εταιρεία που βοηθά εταιρείες να εφαρμόζουν την AI με ασφάλεια, υπέστη ένα αμήχανο χτύπημα δημοσιότητας όταν μια εταιρεία κυβερνοασφάλειας δήλωσε ότι χρησιμοποίησε έναν AI agent για να χακάρει την Lilli, την εσωτερική πλατφόρμα AI της McKinsey. Η εταιρεία τοποθετείται ως ειδικός στην AI και τον Ιανουάριο, ο CEO Bob Sternfels δήλωσε ότι από τους 60.000 υπαλλήλους της, οι 25.000 είναι AI agents. «Η McKinsey ενημερώθηκε πρόσφατα για μια ευπάθεια που σχετίζεται με το εσωτερικό μας εργαλείο AI, Lilli, από έναν ερευνητή ασφαλείας. Επιβεβαιώσαμε άμεσα την ευπάθεια και διορθώσαμε το πρόβλημα εντός ωρών», δήλωσε εκπρόσωπος της McKinsey στο Business Insider. Η έρευνα της εταιρείας, με την υποστήριξη μιας ανεξάρτητης εταιρείας εγκληματολογικής ανάλυσης, δεν βρήκε αποδείξεις ότι είχαν πρόσβαση σε δεδομένα πελατών ή εμπιστευτικές πληροφορίες πελατών.
Η καλύτερη προστασία από έναν παράγοντα που «ξεφεύγει» είναι μια πολυδιάστατη προσέγγιση: τεχνικοί έλεγχοι, ανθρώπινη εποπτεία και τεχνολογία για παρατήρηση και διακυβέρνηση. «Πιστεύω πραγματικά ότι αν είστε σκόπιμοι και καθιερώσετε το αυτόνομο οικοσύστημά σας με αυτό ως θεμέλιο, δεν πιστεύω ότι θα υπάρξει κατάσταση όπου θα βγουν εκτός ελέγχου», κατέληξε.
