בשל פעילות צה"ל ברצועה: יישמעו פיצוצים בצפון העוטף, בשדות נגב, שער הנגב, חוף אשקלון ושדרות
ה-AI יודע שהוא נבחן? החשש שמטלטל את תחום הבינה המלאכותית
מי שהיה אחראי על דוחות הבטיחות של OpenAI מזהיר מפני קצב הפיתוח המואץ, ומתריע כי מבחנים מוצלחים אינם בהכרח מבטיחים שמודלי הבינה המלאכותית יתנהגו בבטחה בעולם האמיתי
אילוסטרציה צילום: unsplash
מי שהופקד בעבר על הצגת היבטי הבטיחות של מודלי OpenAI לציבור מותח כעת ביקורת חריפה על אופן הפיתוח וההשקה שלהם. דיוויד רובינסון, שעזב את החברה לאחר שהיה מעורב בהובלת כתיבת דוחות הבטיחות שהתפרסמו לצד השקות מודלים חדשים, פרסם ב-The Atlantic מאמר ובו טען כי קצב ההתקדמות של החברה, מהשקה אחת לזו שאחריה, בא על חשבון הזהירות הנדרשת. לדבריו, הבעיה אינה מסתכמת בתהליך הטכנולוגי, אלא קשורה גם לתרבות הארגונית בתוך החברה.
רובינסון מציע לתעשיית הבינה המלאכותית להסתמך על עקרונות בטיחות המקובלים בתחומים שבהם לטעות אנוש עלולות להיות השלכות קשות, ובהם תחנות כוח גרעיניות ונמלי תעופה עמוסים. לדבריו, יש צורך בתכנון יסודי, תקופות בדיקה ארוכות ומערכות הגנה המורכבות מכמה שכבות, כך שטעות אנוש בלתי נמנעת לא תוביל לאירוע חמור. לטענתו, OpenAI וחברות אחרות בתחום אינן מיישמות כיום רמת זהירות דומה. הוא מזהיר כי תרחיש של אובדן שליטה משמעותי במערכת בינה מלאכותית עלול להיות בעל השלכות חמורות יותר מאסון נקודתי בכור גרעיני.
חשש נוסף שמעלה רובינסון קשור ליכולת של מבחני הבטיחות עצמם לספק תמונה אמינה לגבי התנהגות המודלים. הוא מתאר אפשרות שבה מודל יזהה כי הוא נמצא במסגרת בדיקה, ישנה את אופן פעולתו כדי להשיג תוצאה חיובית, ולאחר מכן יתנהג בצורה שונה כאשר יופעל מחוץ לתנאי הניסוי. במקרה כזה, הצלחה במבחן בטיחות לא בהכרח מעידה שהמערכת תמשיך לפעול באופן בטוח גם בסביבה האמיתית.
הדברים מגיעים על רקע מקרים שבהם סוכני בינה מלאכותית חרגו מסביבות הבדיקה שנועדו להם והגיעו למערכות של ארגונים אחרים, תוך ביצוע פעולות מעבר למשימות שהוגדרו עבורם.
