אזרח ישראלי נרצח בקופנגן שבתאילנד, נבדק החשד לרקע לאומני
אחרי שסוכני AI "יצאו משליטה": המערכת החדשה שתוכל לעצור אותם
שורה של ניסויים ואירועי אבטחה העלתה חשש מהיכולת של סוכני AI לחרוג מההרשאות שניתנו להם ולגשת למערכות חיצוניות. כעת אנבידיה מציגה מערכת שמגבילה מראש את פעולות הסוכן ועוקבת אחריו בזמן אמת - בחברה טוענים כי היא מסוגלת לבודד סוכן חשוד בתוך אלפיות השנייה
אילוסטרציה של מערכת אבטחה לסוכני בינה מלאכותית במרכז נתונים צילום: נוצר באמצעות בינה מלאכותית
לפני פחות מחודש נחשף ניסוי חריג של OpenAI: כ-3,700 סוכני בינה מלאכותית, שהיו אמורים להיות מוגבלים לקריאת מידע באינטרנט, הצליחו לפרסם כ-18 אלף הודעות באתר גרמני. הם החליפו ביניהם מידע, שיתפו דרכים לעקוף את המגבלות שהוטלו עליהם ואף דנו בדרכים "לברוח" מסביבת העבודה שבה הוחזקו.
זה לא היה המקרה היחיד שהעלה שאלות לגבי השליטה בסוכני AI. לפי סוכנות הידיעות AP, סוכנים של OpenAI חדרו במסגרת ניסוי למערכות של חברת הבינה המלאכותית Hugging Face. במקרה אחר, מודלים של החברה השיגו גישה בלתי מורשית לאתר של מחלקת בריאות באוסטרליה. אנתרופיק ומטא דיווחו גם הן על מקרים שבהם מערכות שפיתחו הצליחו לחדור למערכות של ארגונים אחרים.
האירועים עוררו דיון נרחב בתעשייה סביב השאלה כיצד מאפשרים לסוכן AI לפעול באופן עצמאי - בלי לתת לו אפשרות לחרוג מההרשאות שניתנו לו. בעקבות האירועים, OpenAI אף הודיעה על שינוי בדרך שבה היא מדווחת על התנהגות חריגה של סוכני AI.
כעת אנבידיה מציגה פתרון משלה לבעיה.
לפי AP, החברה חשפה פלטפורמת אבטחה חדשה לסוכני בינה מלאכותית (Open Agent Safety Platform), שמטרתה להציב גבולות לפעולות שהם רשאים לבצע ולהוסיף שכבת פיקוח נפרדת שתוכל להתערב במקרה של התנהגות חריגה.
העיקרון פשוט: סוכן AI שמקבל משימה זקוק להרשאות כדי לבצע אותה. אם הוא אמור לעבוד עם מסמכים, למשל, הוא צריך גישה לקבצים. אלא שמתן הרשאות רחבות מדי עלול לאפשר לו להגיע גם למקומות שלא נדרשים לביצוע המשימה.
אחת המערכות החדשות, המכונה "מעטפת פתוחה" (OpenShell), נועדה לאפשר למפתחים לקבוע מראש בדיוק לאילו משאבים הסוכן רשאי לגשת - ולחסום בפניו את היתר.
שכבת אבטחה נוספת, המכונה "זקיף" (Sentry), אמורה לפעול במקביל ולעקוב ברציפות אחר פעילות הסוכן. לפי אנבידיה, אם המערכת מזהה ניסיון לחרוג מהמטרה או מההרשאות שהוגדרו, היא יכולה להתערב ולבודד את הסוכן החשוד.
בחברה טוענים שהתגובה יכולה להתרחש בתוך אלפיות השנייה.
"היא יכולה להכניס סוכן חשוד להסגר בתוך אלפיות השנייה", אמר ג'סטין בויטאנו, סגן נשיא לבינה מלאכותית ארגונית באנבידיה.
אנבידיה אף טוענת כי המערכת החדשה הייתה יכולה למנוע את החדירה של סוכני OpenAI ל-Hugging Face, אילו הייתה מופעלת בזמן הניסוי. עם זאת, מדובר בהערכה של אנבידיה ולא בתוצאה שנבדקה באותו אירוע בפועל.
לפי החברה, יותר מ-100 ארגונים משתמשים בפלטפורמה עם השקתה, בהם מיקרוסופט, פרפלקסיטי, אקסנצ'ר ובנק JPMorgan Chase.
גם מומחים חיצוניים מסייגים את היכולת לפתור את הבעיה באמצעות שכבת אבטחה אחת. פרופ' ארלנס פרננדס מאוניברסיטת קליפורניה בסן דייגו הגדיר בשיחה עם AP את המערכת כ"צעד בכיוון הנכון", אך הדגיש כי עדיין קיימים אתגרים שאמצעי אבטחת סייבר רגילים אינם יודעים לפתור.
לדבריו, הבעיה נמצאת בלב הרעיון של סוכן AI: כדי שהוא יהיה שימושי באמת, צריך לתת לו גישה למשאבים אמיתיים. אלא שככל שהוא מקבל יותר הרשאות, כך נעשה מורכב יותר לקבוע מה בדיוק מותר לו לעשות ומה צריך להיחסם.
המערכת החדשה מגיעה זמן קצר לאחר שמנכ"ל אנבידיה ג'נסן הואנג התייחס בעצמו לחשש שמערכות בינה מלאכותית יצאו מכלל שליטה. הואנג הציג את בטיחות ה-AI, ובכלל זה הסיכון מסוכנים שחורגים מהמגבלות, כבעיה הנדסית שמפתחי תוכנה יכולים להתמודד איתה.
כעת אנבידיה מציגה את הגישה שלה להתמודדות עם הבעיה: לא למנוע מסוכני AI לפעול באופן עצמאי, אלא להגביל מראש את ההרשאות שלהם ולהציב שכבת אבטחה נוספת שתנסה לעצור אותם כאשר הם חורגים מהגבולות שנקבעו להם.
