Η ενθουσιώδης ατμόσφαιρα γύρω από την ανάπτυξη λογισμικού με υποβοήθηση Τεχνητής Νοημοσύνης (AI) έχει κορυφωθεί τους τελευταίους μήνες, όμως τα λάθη αρχίζουν να συσσωρεύονται, φέρνοντας στο προσκήνιο σοβαρούς κινδύνους. Ο μηχανικός Alexey Grigorev έπεσε θύμα ενός τέτοιου προβλήματος, όταν χρησιμοποιώντας το Claude Code, ένα δημοφιλές εργαλείο της Anthropic για την υποβοήθηση προγραμματιστών, προσπαθούσε να ανανεώσει μια νέα ιστοσελίδα.
Αρχικά, όλα έμοιαζαν φυσιολογικά, μέχρι που συνειδητοποίησε ότι το σύστημα κατέστρεφε το “ζωντανό” περιβάλλον της ιστοσελίδας: το δίκτυο, τις υπηρεσίες και, το πιο κρίσιμο, τη βάση δεδομένων που περιείχε χρόνια δεδομένων μαθημάτων. Η ρίζα του προβλήματος ήταν ένα μικρό λάθος ρύθμισης σε ένα νέο laptop, το οποίο μπέρδεψε την αυτοματοποίηση σχετικά με το τι ήταν “πραγματικό” και ασφαλές για διαγραφή, με αποτέλεσμα να σβηστεί το πραγματικό σύστημα παραγωγής αντί να καθαριστούν απλώς τα διπλότυπα.
Ο Grigorev κατάφερε τελικά να αποκαταστήσει τα δεδομένα του με τη βοήθεια της υποστήριξης της AWS. Ωστόσο, αργότερα έγραψε ότι είχε “υπερβολική εμπιστοσύνη στον AI agent” και, επιτρέποντάς του να εκτελέσει τις αλλαγές από την αρχή ως το τέλος, είχε παραλείψει τους ελέγχους ασφαλείας που θα απέτρεπαν τη διαγραφή. “Οι βοηθοί AI είναι εξαιρετικοί και εξοικονομούν πολύ χρόνο,” δήλωσε ο Grigorev στο Fortune. “Ελπίζω όμως οι άνθρωποι να μάθουν από τα λάθη μου και να ενσωματώσουν τις δικλείδες ασφαλείας στην καθημερινή τους εργασία.”
Το Claude Code της Anthropic διαθέτει ρυθμίσεις που επιτρέπουν στον χρήστη να ελέγχει πότε και πόσο συχνά ο agent θα ζητά την έγκριση του χρήστη πριν προβεί σε ενέργειες. Ένας χρήστης μπορεί να ορίσει ότι ο agent δεν πρέπει να λαμβάνει συγκεκριμένες αποφάσεις χωρίς άδεια. Ωστόσο, ορισμένοι προγραμματιστές προτιμούν να επιτρέπουν στον AI agent να λαμβάνει αυτόνομα περισσότερες αποφάσεις, εν μέρει επειδή εξοικονομεί χρόνο.
Παρά τις υποσχέσεις για ταχύτερη ανάπτυξη και αυτοματοποίηση, τα λάθη σε κώδικα που παράγεται από AI είναι συχνά και ενέχουν τον κίνδυνο κατάρρευσης κρίσιμων συστημάτων, απώλειας ετών εργασίας και απρόβλεπτων κόστων. Την προηγούμενη εβδομάδα, η Amazon διοργάνωσε μια συνάντηση “deep dive” μετά από μια σειρά διακοπών λειτουργίας που επηρέασαν την ιστοσελίδα και την εφαρμογή της. Τουλάχιστον μία από τις αστοχίες συστημάτων, σύμφωνα με αναφορές, σχετιζόταν με αλλαγές υποβοηθούμενες από AI.
Αντιπρόσωπος της Amazon δήλωσε στο Fortune ότι η συνάντηση ήταν μια “τακτική εβδομαδιαία συνάντηση λειτουργίας”. Η εταιρεία έχει επίσης δηλώσει δημοσίως ότι μόνο ένα από τα περιστατικά αφορούσε AI, και “η αιτία δεν σχετιζόταν με την AI, αλλά αντίθετα τα συστήματά μας επέτρεψαν ένα ανθρώπινο σφάλμα από ομάδα μηχανικών να έχει ευρύτερο αντίκτυπο από ό,τι θα έπρεπε”.
Ωστόσο, εσωτερικά έγγραφα της Amazon που είδαν το φως της δημοσιότητας από το CNBC και τους Financial Times, αρχικά ανέφεραν τις “αλλαγές με τη βοήθεια Gen-AI” ως παράγοντα σε μια “τάση περιστατικών”. Η αναφορά στον ρόλο της AI στις διακοπές λειτoυργίας διαγράφηκε αργότερα από το έγγραφο πριν τη συνάντηση, όπως ανέφερε το CNBC. Σύμφωνα με τους Financial Times, μια διακοπή λειτουργίας τον Δεκέμβριο στα Amazon Web Services συνέβη αφού οι μηχανικοί επέτρεψαν στο δικό της εργαλείο κωδικοποίησης Kiro AI να κάνει αλλαγές – κάτι που η Amazon έχει πλέον δηλώσει ότι ήταν “ανθρώπινο σφάλμα”.
Η ασυγκράτητη πίεση για παραγωγή κώδικα με AI, συχνά χωρίς την κατάλληλη επίβλεψη, θέτει σε κίνδυνο την ποιότητα του παραγόμενου κώδικα, ειδικά για μεγάλες επιχειρήσεις. Η υπερβολική εξάρτηση από εργαλεία AI αλλάζει ριζικά τον ρόλο των μηχανικών, ωθώντας τους προς έναν ρόλο “επιθεωρητή” αντί ενεργούς προγραμματιστών. Αυτό, παρά την αύξηση της ταχύτητας παράδοσης, δημιουργεί “θόρυβο παραγωγής” – κώδικα που παραδίδεται γρήγορα, αλλά δεν είναι απαραίτητα χρήσιμος ή πλήρως δοκιμασμένος.
Σύμφωνα με τον David Loker, VP of AI στην CodeRabbit, οι συνέπειες δεν είναι πάντα ορατές ως διακοπή λειτουργίας. Σε μία περίπτωση, ένα AI agent δημιούργησε κώδικα που φαινόταν απόλυτα έγκυρος, αλλά βασιζόταν σε λανθασμένες υποθέσεις για το υποκείμενο σύστημα. Τέτοιος κώδικας, αν και θα μπορούσε να περάσει από έναν γρήγορο έλεγχο, θα κατέστρεφε τη βάση δεδομένων σε παραγωγικό περιβάλλον.
Η μείωση των τεχνικών απαιτήσεων για την εκτέλεση ορισμένων εργασιών ανάπτυξης λογισμικού μέσω AI, ωθεί τις εταιρείες να αναθέτουν εργασίες, που παραδοσιακά γίνονταν από έμπειρους μηχανικούς, σε λιγότερο έμπειρο ή τεχνικά καταρτισμένο προσωπικό. Το αποτέλεσμα είναι συχνά χαμηλής ποιότητας παραγωγή που δημιουργεί περισσότερη δουλειά από ό,τι εξοικονομεί. “Πολλά από αυτά που χτίστηκαν ήταν χαμηλής ποιότητας, έσπαγαν συχνά και κατέληξαν να είναι περισσότερο βάρος,” αναφέρει ένας μηχανικός από εταιρεία λογισμικού στην Enterprise, ο οποίος ζήτησε να παραμείνει ανώνυμος.
Η επιβάρυνση του ελέγχου και της διόρθωσης εργασιών που υποβοηθήθηκαν από AI πέφτει δυσανάλογα στους πιο έμπειρους μηχανικούς. Ενώ οι senior engineers έχουν τις δεξιότητες να εντοπίζουν λάθη, οι οποίοι ένας junior μπορεί να χάσει, επιτρέποντάς τους να παραδίδουν ταχύτερα, πληρώνουν ένα αυξανόμενο “φόρο διόρθωσης”. Έρευνα του Fastly τον Ιούλιο του 2025 έδειξε ότι οι senior engineers παραδίδουν σχεδόν 2,5 φορές περισσότερο κώδικα που παράγεται από AI σε σύγκριση με τους junior, επειδή είναι καλύτεροι στο να εντοπίζουν λάθη πριν αυτά επιδεινωθούν. Ωστόσο, σχεδόν το 30% των seniors δήλωσαν ότι η διόρθωση του output της AI τους κατέτρωγε το μεγαλύτερο μέρος του χρόνου που είχαν εξοικονομήσει, σε σύγκριση με το 17% των junior developers.
Το πρόβλημα ενισχύεται από το “FOMO” (φόβος της απώλειας) της διοίκησης. Οι ισχυρισμοί για αύξηση της παραγωγικότητας από τα κορυφαία εργαστήρια AI είναι εντυπωσιακοί, και οι μεγαλύτεροι οργανισμοί επιδιώκουν παρόμοιες επιδόσεις. Η Anthropic ανέφερε ότι μεταξύ 70% και 90% του συνολικού της κώδικα παράγεται πλέον από AI, ενώ η Spotify ανακοίνωσε ότι οι καλύτεροι προγραμματιστές της δεν έχουν γράψει γραμμή κώδικα από τον Δεκέμβριο, έχοντας παραδώσει πάνω από 50 νέα χαρακτηριστικά το 2025 χρησιμοποιώντας ροές εργασίας με υποβοήθηση AI.
Ωστόσο, όπως αποδεικνύουν τα πρόσφατα προβλήματα της Amazon, η αύξηση της παραγωγικότητας που παρατηρείται σε εργαστήρια AI και agile startups, μπορεί να είναι δυσκολότερο να αναπαραχθεί σε μεγάλες επιχειρήσεις με παλαιότερα συστήματα και πολύπλοκες βάσεις κώδικα. Σε αντίθεση με τις μικρότερες ομάδες που μπορούν να κινηθούν γρήγορα και να απορροφήσουν λάθη, εταιρείες όπως η Amazon διαχειρίζονται υποδομές όπου μια κακή ανάπτυξη μπορεί να επηρεάσει εκατομμύρια πελάτες.
Μια έκθεση του Σεπτεμβρίου από την Bain & Company διαπίστωσε ότι, παρόλο που η προγραμματιστική ήταν “από τους πρώτους τομείς που ανέπτυξαν generative AI”, οι πραγματικές εξοικονομήσεις ήταν μέτριες και τα αποτελέσματα “δεν ανταποκρίθηκαν στον θόρυβο”. Εν τω μεταξύ, έρευνα από την εταιρεία ασφάλειας Apiiro έδειξε ότι οι προγραμματιστές που χρησιμοποιούσαν AI εισήγαγαν περίπου δέκα φορές περισσότερα ζητήματα ασφαλείας από εκείνους που δεν το έκαναν.
Τα μοντέλα AI, όπως έχει επισημάνει ο ερευνητής AI Andrej Karpathy, μπορούν να κάνουν ανεπαίσθητα εννοιολογικά λάθη, να υπερ-περιπλέξουν τον κώδικα και να αφήσουν πίσω τους αχρησιμοποίητο κώδικα – προβλήματα που είναι διαχειρίσιμα σε ένα ελεγχόμενο περιβάλλον, αλλά δυσκολότερα να εντοπιστούν και να διορθωθούν σε μεγάλη κλίμακα. Μια έκθεση του Δεκεμβρίου από την εταιρεία ελέγχου κώδικα CodeRabbit, η οποία ανέλυσε 470 αιτήματα pull στον open-source GitHub, διαπίστωσε ότι ο κώδικας που γράφτηκε από AI περιείχε περίπου 1,7 φορές περισσότερα θέματα συνολικά σε σύγκριση με τον κώδικα γραμμένο από ανθρώπους.
Υπάρχουν επίσης ερωτήματα σχετικά με το αν τα κριτήρια που χρησιμοποιούνται για τη μέτρηση της ικανότητας κωδικοποίησης της AI αντικατοπτρίζουν τις πραγματικές εργασίες. Μια πρόσφατη μελέτη από το METR, έναν οργανισμό αξιολόγησης AI, βρήκε ότι ο μισός κώδικας λύσεων AI που βαθμολογήθηκε ως επιτυχής σε μια κορυφαία δοκιμασία του κλάδου – η οποία βαθμολογείται από ένα μοντέλο AI – θα είχε στην πραγματικότητα απορριφθεί από ανθρώπινους ελεγκτές λόγω ανεπαρκούς ποιότητας.
Άλλο ένα θέμα αφορά το πώς οι ίδιες οι εταιρείες μετρούν την “επιτυχία” της κωδικοποίησης AI. “Είναι πολύ εύκολο να μετρήσεις την αύξηση της παραγωγής,” σημειώνει ο Loker. “Αυτό που δεν είναι εύκολο να μετρηθεί σε αυτό το σημείο είναι η αιτιότητα των όσων συμβαίνουν αργότερα.” Τα παραδοσιακά μετρήσιμα για την παραγωγικότητα των προγραμματιστών – παραδόσεις χαρακτηριστικών, δέσμευση κώδικα – φαίνονται δυνατά όταν εμπλέκεται η AI, αλλά δεν αποτυπώνουν τις επακόλουθες συνέπειες, όπως σφάλματα, επαναφορές ή τον χρόνο που δαπανάται για καθαρισμό.
Οι εταιρείες που αναπτύσσουν AI σε μεγάλη κλίμακα διατρέχουν επίσης τον κίνδυνο να συσσωρεύσουν αυτό που οι μηχανικοί αποκαλούν “τεχνικό χρέος” – κώδικας που λειτουργεί βραχυπρόθεσμα, αλλά γίνεται όλο και πιο δαπανηρός στη συντήρηση. “Παράγουμε τεχνικό χρέος χρησιμοποιώντας AI με ρυθμό που δεν μπορώ καν να φανταστώ,” λέει ο Loker. “Είναι πιθανώς τρεις με τέσσερις φορές μεγαλύτερο από ό,τι στο παρελθόν.”
