Η αμερικανική startup τεχνητής νοημοσύνης Anthropic, δημιουργός του chatbot Claude και άλλων συστημάτων AI, παραδέχτηκε ότι σειρά περιστατικών κυβερνοασφάλειας στα οποία ενεπλάκησαν τα μοντέλα της συνιστούσε «αποτυχία στην επιχειρησιακή ασφάλεια». Παράλληλα, ανακοίνωσε ότι προχώρησε σε αυστηροποίηση των διαδικασιών και των πρωτοκόλλων που εφαρμόζει στις δοκιμές των συστημάτων της.
Η Anthropic είχε αποκαλύψει τον Ιούλιο ότι, σε τρεις διαφορετικές περιπτώσεις, μοντέλα της απέκτησαν πρόσβαση στο ανοιχτό Διαδίκτυο και, στη συνέχεια, μη εξουσιοδοτημένη πρόσβαση σε συστήματα άλλων εταιρειών. Σε νέα ανάρτησή της, η εταιρεία παραδέχτηκε ότι η τεχνολογία της «δεν ήταν απόλυτα ευθυγραμμισμένη» με τις ανθρώπινες αξίες και τους στόχους.
Σύμφωνα με την εταιρεία, τα μοντέλα υποβάλλονταν σκόπιμα σε δοκιμές χωρίς ορισμένες δικλίδες κυβερνοασφάλειας. Ωστόσο, μια παρεξήγηση με εξωτερική εταιρεία που συμμετείχε στις δοκιμές είχε ως αποτέλεσμα να αποκτήσουν πρόσβαση στο ανοιχτό Διαδίκτυο.
Μετά τα περιστατικά, η Anthropic ανέστειλε αρχικά τις εσωτερικές και εξωτερικές δοκιμές κυβερνοασφάλειας, προκειμένου να εφαρμόσει αυστηρότερο πλαίσιο προστασίας. «Βασιζόμασταν σε μεγάλο βαθμό σε ένα μόνο επίπεδο άμυνας ενώ χρειαζόμασταν περισσότερα», αναφέρει η εταιρεία.
Πλέον, έχουν τεθεί σε εφαρμογή πρόσθετα μέτρα, όπως σύστημα ειδοποιήσεων όταν ένα μοντέλο επιχειρεί να εξέλθει από το περιβάλλον δοκιμών ή αποκτά πρόσβαση στο Διαδίκτυο, αυστηρότερη απομόνωση των πιο επικίνδυνων περιβαλλόντων και νέες απαιτήσεις ασφαλείας για τις εξωτερικές εταιρείες που συμμετέχουν στις δοκιμές, με σαφείς οδηγίες προς τα μοντέλα, όπως: «δεν πρέπει να αποκτάς πρόσβαση στο Διαδίκτυο».
Τι συνέβη
Η Anthropic είχε δηλώσει τον Ιούλιο ότι τρεις οργανισμοί, των οποίων τα ονόματα δεν δημοσιοποιήθηκαν, είχαν δεχθεί επίθεση από τρία μοντέλα της μετά από μια «παρεξήγηση» με τον συνεργάτη της στις δοκιμές, μια εταιρεία που ονομάζεται Irregular, η οποία είχε ως αποτέλεσμα τα μοντέλα να αποκτήσουν πρόσβαση στο διαδίκτυο.
Μετά την εφαρμογή των νέων μέτρων η Anthropic δήλωσε ότι επανέλαβε τις εσωτερικές και εξωτερικές δοκιμές κυβερνοασφάλειας. Όπως και η OpenAI η οποία αποκάλυψε παραβίαση της ασφάλειας των δοκιμών τον ίδιο μήνα η Anthropic δήλωσε ότι είχε αναστείλει ορισμένες δοκιμές υψηλού κινδύνου που χρησιμοποιούν ενισχυτική μάθηση (reinforcement learning), μια τεχνική ανάπτυξης μέσω δοκιμής και λάθους κατά την οποία τα συστήματα AI επιβραβεύονται όταν βρίσκουν τρόπους να εκτελέσουν μια συγκεκριμένη εργασία.
Στην τελευταία ανάρτησή της η Anthropic δήλωσε ότι διαπίστωσε πως ελαττωματικές ρυθμίσεις εκπαίδευσης αποτελούσαν «δυσανάλογα σημαντικούς παράγοντες» στην πρόκληση μη ευθυγραμμισμένης συμπεριφοράς. Ο όρος αυτός χρησιμοποιείται όταν ένα σύστημα AI αποτυγχάνει να ακολουθήσει ή να «ευθυγραμμιστεί» με ανθρώπινες αξίες, όπως η αποφυγή πρόκλησης βλάβης.
Η startup δήλωσε ότι εντόπισε δύο αποτυχίες ευθυγράμμισης στα περιστατικά των δοκιμών:
* «Motivated reasoning» (κατευθυνόμενη/μεροληπτική συλλογιστική): Παρότι τα μοντέλα εντόπισαν στοιχεία που έδειχναν ότι μπορεί να είχαν συνδεθεί με το διαδίκτυο, ενδέχεται να συνέχισαν να «πιστεύουν» ότι βρίσκονταν σε ένα προσομοιωμένο περιβάλλον και, επομένως, ότι δεν παραβίαζαν τους κανόνες του εργαστηρίου δοκιμών.
* «Recklessness» (απερίσκεπτη συμπεριφορά): Τα μοντέλα ήταν διατεθειμένα να προβούν σε επιβλαβείς ενέργειες στο διαδίκτυο προκειμένου να πετύχουν τον στενό στόχο της επιτυχούς ολοκλήρωσης μιας δοκιμής κυβερνοασφάλειας. Η Anthropic δήλωσε ότι αντιμετωπίζει επίσης ένα φαινόμενο στην ανάπτυξη της AI που είναι γνωστό ως «reward hacking» (εκμετάλλευση του συστήματος ανταμοιβής).
Πρόκειται για την περίπτωση κατά την οποία ένα μοντέλο βρίσκει τρόπους να «ξεγελάσει» τη διαδικασία εκπαίδευσής του και να κερδίσει ανταμοιβές χωρίς να ολοκληρώσει πραγματικά την εργασία δηλαδή χρησιμοποιεί μια μη εγκεκριμένη συντόμευση.
Ο Άλαν Γούντγουαρντ καθηγητής κυβερνοασφάλειας στο βρετανικό Πανεπιστήμιο του Surrey δήλωσε ότι η Anthropic παραδέχτηκε ουσιαστικά πως «το εργοστάσιό της λειτουργούσε πιο γρήγορα από τον ποιοτικό της έλεγχο». «Δύο πράγματα ξεπέρασαν τους ελέγχους της Anthropic αυτή την άνοιξη — η διαδικασία εκπαίδευσης και η ασφάλεια. Τα περιστατικά είναι η εικόνα αυτού του κενού από την εξωτερική πλευρά».
Η ανάγκη για συντονισμένη ρύθμιση
Η εταιρεία, η οποία προετοιμάζεται για την εισαγωγή της στο χρηματιστήριο, με την αποτίμησή της να εκτιμάται ότι θα μπορούσε να φτάσει τα 2 τρισεκατομμύρια δολάρια, επανέφερε την έκκλησή της για στενότερο συντονισμό μεταξύ κυβερνήσεων και της βιομηχανίας, προκειμένου να υπάρξει έλεγχος στον ρυθμό ανάπτυξης της τεχνητής νοημοσύνης.
«Πιστεύουμε ότι ο κόσμος θα ωφελούνταν εάν η βιομηχανία υιοθετούσε, το συντομότερο δυνατό, έναν νόμιμο, επαληθεύσιμο και αποτελεσματικό μηχανισμό συντονισμένης ρύθμισης του ρυθμού ανάπτυξης. Τα περιστατικά του Ιουλίου κατέδειξαν ότι η ανάγκη να βελτιώσουμε τις άμυνές μας στον τομέα της κυβερνοασφάλειας είναι ακόμη πιο επείγουσα απ’ όσο πιστεύαμε προηγουμένως», ανέφερε η Anthropic.
Τα περιστατικά που αφορούσαν την Anthropic ήρθαν μετά από αντίστοιχη παραβίαση στην OpenAI, ενώ είχε προηγηθεί και ένα περιστατικό που ανέφερε τον Αύγουστο το UK AI Security Institute. Σύμφωνα με αυτό, μοντέλα των OpenAI και Anthropic συμμετείχαν, στο πλαίσιο δοκιμών κυβερνοασφάλειας, σε εκστρατεία hacking που στόχευε πραγματικά πρόσωπα.
