Η διατήρηση της καντονέζικης γλώσσας αντιμετωπίζει μεγάλες προκλήσεις, λόγω της κυριαρχίας της μανδαρινικής, των περιορισμένων πηγών μάθησης και της έλλειψης ενός τυποποιημένου γραπτού τύπου. Με τον αριθμό των νέων μαθητών να μειώνεται, η γλώσσα βρίσκεται μπροστά σε ένα αβέβαιο μέλλον.

Ωστόσο, η τεχνητή νοημοσύνη (AI), που για κάποιους θεωρείται υπαρξιακή απειλή για την ανθρωπότητα, μπορεί να γίνει η ελπίδα για τη διάσωση της καντονέζικης, αλλά και πολλών άλλων γλωσσών, μαζί με τις ξεχωριστές κουλτούρες που ενσωματώνουν.

Αυτή είναι η αποστολή της Votee AI, μιας εταιρείας deep-tech με έδρα το Χονγκ Κονγκ: να χρησιμοποιήσει μεγάλα γλωσσικά μοντέλα (LLMs) για τη διατήρηση γλωσσών, ιδίως εκείνων που παραβλέπονται από τις τεχνολογικές γίγαντες.

Ο Leo Ma, επικεφαλής επιστήμονας της Votee για την περιοχή Ασίας-Ειρηνικού, δήλωσε σε συνέντευξή του ότι η AI θα μπορούσε να δημιουργήσει ζωντανά αρχεία πολλών γλωσσών πέραν των αγγλικών – της κύριας γλώσσας για τα περισσότερα LLMs σήμερα.

«Ενώ τα mainstream μοντέλα AI υπερέχουν στα αγγλικά, παραμένουν ‘λειτουργικά αναλφάβητα’ για το 99% των γλωσσών του κόσμου», δήλωσε ο Ma, προσθέτοντας ότι αυτό περιορίζει την πρόσβαση στην AI για τα δισεκατομμύρια των μη αγγλόφωνων.

Σε αντίθεση με τη μανδαρινική, τα αγγλικά ή τα ισπανικά, που διαθέτουν τεράστιες ποσότητες ψηφιακών κειμένων για την εκπαίδευση της AI, η καντονέζικη στερείται γραπτού κειμένου που να αντικατοπτρίζει με ακρίβεια τον προφορικό της λόγο.

«Η καντονέζικη είναι μια ‘γλώσσα χαμηλών πόρων’ επειδή δεν υπάρχουν πολλά γραπτά κείμενα που μπορούμε να χρησιμοποιήσουμε για την εκπαίδευση», δήλωσε ο Ma.

Η Votee AI, η οποία δηλώνει ότι είναι η πρώτη εταιρεία που κυκλοφόρησε ανοιχτού κώδικα ένα καντονέζικο LLM, αντιμετώπισε τις εξαντλητικές προκλήσεις της καταγραφής της γλώσσας που μιλιέται από 85 εκατομμύρια ανθρώπους παγκοσμίως.

«Οι παραμελημένες γλώσσες δεν πρέπει να αποκλείονται. Ο ανοιχτός κώδικας είναι ένας κρίσιμος δρόμος για να διασφαλιστεί η επιβίωση της γλωσσικής ποικιλομορφίας στην εποχή της AI», δήλωσε ο Ma. «Οι παραμελημένες γλώσσες εξαφανίζονται συνεχώς.»

«Εμείς, στον κλάδο της τεχνολογίας, κοιτάμε το μέλλον – αλλά ταυτόχρονα, ελπίζουμε να διατηρήσουμε το παρελθόν μας, το οποίο αποτελεί το θεμέλιο του παρόντος.»

Για τη συλλογή δεδομένων εκπαίδευσης, η ομάδα δημιούργησε ένα ψηφιακό λεξικό συγκεντρώνοντας δεδομένα από το διαδίκτυο, όπως στα μέσα κοινωνικής δικτύωσης και τα φόρουμ, και συνεργάτες όπως πανεπιστήμια, στη συνέχεια σχολιάζοντας το πολιτισμικό πλαίσιο των λέξεων.

«Οι λέξεις μπορούν να έχουν πολλές σημασίες σε διαφορετικά πλαίσια. Κάθε λέξη, που αντιστοιχεί σε ένα συγκεκριμένο πλαίσιο, θα αναπαρίσταται από το δικό της ανεξάρτητο στοιχείο στο σύνολο δεδομένων που δημιουργούμε», δήλωσε ο Ma.

Για παράδειγμα, η λέξη για το «νερό» χρησιμοποιείται συχνά για να αναφερθεί στα χρήματα, εκτός από την κυριολεκτική της σημασία ως ουσία, και έχει πολλές σχετικές χρήσεις στην καντονέζικη.

Σύμφωνα με τον Ma, αυτό το επίπεδο βαθιάς κατανόησης είναι κρίσιμο, επειδή τα μοντέλα που εκπαιδεύονται σε άλλες γλώσσες δεν μπορούν να συλλάβουν τις μοναδικές ιδιωματικές εκφράσεις, τις πολιτισμικές αποχρώσεις και την ταυτότητα των καντονέζικων ομιλητών μέσω της μετάφρασης.

«Αυτό δεν είναι απλώς θέμα ανακριβούς μετάφρασης· είναι πρόβλημα πολιτισμικής παραπλάνησης», είπε.

Η γλωσσική ακρίβεια είναι επίσης σημαντική για την εφαρμογή των LLMs στον πραγματικό κόσμο. Για μοντέλα που αναπτύσσονται σε τομείς όπως τα χρηματοοικονομικά, η ιατρική, το δίκαιο και η κυβέρνηση, το να έχεις «ημι-άριστους ξένους ασκούμενους» με 50% ακρίβεια αντιπροσώπευε ένα ρίσκο, δήλωσε ο Ma.

Για να διασφαλιστεί ότι τα μοντέλα αντανακλούν τις πλούσιες πολιτισμικές αποχρώσεις, ένας ερευνητής της Votee AI δημιούργησε ένα σημείο αναφοράς με συναδέλφους, συμπεριλαμβανομένων εκείνων από το The Education University of Hong Kong, για να ανυψώσει την γλωσσική επάρκεια και την πολιτισμική γνώση, καθώς και την ικανότητα συλλογισμού και επίλυσης προβλημάτων των καντονέζικων LLMs στο πλαίσιο του Χονγκ Κονγκ.

«Ενώ τα ιδιόκτητα μοντέλα γενικά υπερτερούν των μοντέλων ανοιχτού βάρους, παραμένουν σημαντικοί περιορισμοί στην αντιμετώπιση της καντονέζικης γλωσσικής και πολιτισμικής γνώσης, τονίζοντας την ανάγκη για πιο στοχευμένα δεδομένα εκπαίδευσης και μεθόδους αξιολόγησης», έγραψε η ομάδα σε μια εργασία που δημοσιεύθηκε από την Association for Computational Linguistics πέρυσι.

«Η αντιμετώπιση του διαχωρισμού της περιφερειακής και γλωσσικής γνώσης είναι κρίσιμη για την ανάπτυξη πολιτισμικά και γλωσσικά προσαρμοστικών LLMs. Αυτό το ζήτημα εκτείνεται πέρα από την καντονέζικη σε άλλες υπο-εκπροσωπούμενες γλωσσικές κοινότητες», πρόσθεσαν.

Ο Ma δήλωσε ότι ο αρχικός καθαρισμός δεδομένων για το καντονέζικο σύνολο δεδομένων διήρκεσε στην ομάδα τέσσερις έως πέντε μήνες, αλλά η εταιρεία είχε κατασκευάσει ένα σύστημα με αυτόνομους πράκτορες που συντόμευσε τη διαδικασία σε δύο εβδομάδες.

«Η εκπαίδευση ενός νέου μοντέλου ήταν κάποτε μια διαδικασία μηνών που περιλάμβανε καθαρισμό δεδομένων, δημιουργία προφίλ και σύνθεση δεδομένων. Χρειαζόμασταν δεδομένα που να αναπαριστούν διάφορα μοτίβα ομιλίας – για παράδειγμα, πώς μιλούν οι νέοι trend hoppers, η γλώσσα που χρησιμοποιούν οι δικηγόροι ή ο τρόπος που μιλούν οι διασημότητες.»

Η νέα διαδικασία που βασίζεται στην AI θα μπορούσε να αναπαραχθεί για άλλες γλώσσες χαμηλών πόρων στη Νοτιοανατολική Ασία και την Αφρική, με την εταιρεία να δημιουργεί ένα ερευνητικό εργαστήριο AI στο Τορόντο και περιφερειακούς κόμβους στην Κουάλα Λουμπούρ και την Πόλη Χο Τσι Μινχ, δήλωσε ο Ma.

«Επί του παρόντος, επεκτείνουμε το μοντέλο ‘χυτηρίου’ μας για να υποστηρίξουμε άλλες διαλέκτους της Νοτιοανατολικής Ασίας και αναδυόμενων αγορών. Αυτή η πλατφόρμα δεν είναι μόνο για μία ή δύο γλώσσες· ο στόχος της είναι να μειώσει δραματικά τα τεχνικά και κόστη εμπόδια για την κατασκευή υψηλής ποιότητας, εγγενών γλωσσικών μοντέλων», πρόσθεσε.

Περίπου 1.500 γλώσσες κινδυνεύουν παγκοσμίως, σύμφωνα με μια μελέτη του 2021 υπό την ηγεσία του Australian National University. Διατρέχουν υψηλό κίνδυνο να μην ομιλούνται πλέον μέχρι το τέλος αυτού του αιώνα.

Ο Ma αναφέρθηκε στην αιώνια αδυναμία κατανόησης και προφοράς των αιγυπτιακών ιερογλυφικών για να απεικονίσει τη σημασία της διατήρησης των γλωσσών.

Η σημασία της γλώσσας παρέμεινε μυστήριο μέχρι την ανακάλυψη της Στήλης της Ροζέτας το 1799, η οποία επέτρεψε τελικά στους μελετητές να μεταφράσουν τα αιγυπτιακά ιερογλυφικά χάρη στις επιγραφές της που έδειχναν το ίδιο περιεχόμενο σε τρία συστήματα γραφής, συμπεριλαμβανομένων των αρχαίων ελληνικών, τα οποία αποτέλεσαν οδηγό μετάφρασης.

«Όταν μια γλώσσα εξαφανίζεται – πώς μπορούμε να γνωρίζουμε την προφορά της και την πραγματική σημασία των λέξεών της; Κανείς δεν μπορεί να είναι 100% βέβαιος, έτσι μέρη αυτής της κουλτούρας πιθανώς χάνονται», δήλωσε ο Ma. «Για να κατανοήσουμε την πραγματική φύση μιας κουλτούρας, πρέπει να μελετήσουμε τη γλώσσα και τα κείμενά της.»

Παρά την αυτοματοποίηση, ο Ma δήλωσε ότι οι άνθρωποι παρέμειναν κεντρικοί στη διασφάλιση της απόδοσης των νέων μοντέλων και στη μεταβίβαση γνώσεων.

Για την κατασκευή κάθε νέας γλωσσικής βιβλιοθήκης, γλωσσολόγοι και φυσικοί ομιλητές θα βοηθούσαν στη βελτίωση της γραμματικής, του λεξιλογίου και της φωνητικής που η AI μόνη της δεν μπορεί να συλλάβει. Τα μοντέλα που κατασκευάζονται μπορούν να βοηθήσουν τους ανθρώπους να μάθουν γλώσσες.

«Η μεταβίβαση των γλωσσών στις κοινότητες είναι εξαιρετικά σημαντική», δήλωσε ο Ma.

«Αν δεν υπάρχει κανείς πια να μιλάει μια γλώσσα, η γλώσσα έχει ήδη χαθεί. Πιστεύουμε ότι ο ρόλος της AI δεν είναι μόνο να δημιουργήσει το μέλλον, αλλά και να διαφυλάξει το παρελθόν.»