שר החוץ האיראני עראקצ'י תוקף את ההחלטה להגדיר את משמרות המהפכה כארגון טרור: "האירופאים אינם מעריכים את מה שנעשה עבורם, משמרות המהפכה הצילו אותם מדעאש"
דוח חדש: מודלי ה-AI משחזרים ומפיצים תיאוריות קונספירציה אנטישמיות
מחקר הליגה נגד השמצה מגלה פערי ביצועים משמעותיים בין מודלי בינה מלאכותית מובילים בזיהוי והתמודדות עם תוכן אנטישמי וקיצוני; Claude של Anthropic מוביל על פני המתחרים
אילוסטרציה צילום: Ideogram
שישה מודלי בינה מלאכותית גדולים מציגים יכולות שונות בזיהוי הטיה כלפי יהודים וציונים/ציונות ובזיהוי והגדרת קיצוניות, לפי מדד ה‑AI החדש של הליגה נגד השמצה, שפורסם אתמול. המדד הוא ההערכה המקיפה הראשונה של האופן שבו מודלי שפה גדולים (LLMs) מגיבים לתוכן אנטישמי וקיצוני, בהתבסס על יותר מ‑25,000 צ'אטים עם LLM, ב-37 נושאים ותתי קטגוריות. ההערכות שבוצעו הן בידי בני אדם והן בידי מערכות AI.
המדד בחן את:
OpenAI של ChatGPT.
Anthropic של Claude.
DeepSeek.
Gemini של Google.
Grok של xAI.
Llama של Meta.
וגילה שונות משמעותית ביכולותיהם לזהות ולהתמודד עם נרטיבים אנטישמיים וקיצוניים. המודלים ידעו לרוב לזהות ולהפריך טוב יותר סטריאוטיפים אנטי‑יהודיים קלאסיים, כמו טענות על שליטה יהודית בתקשורת ובמערכת הפיננסית, מאשר תאוריות אנטי‑ציוניות ותכנים קיצוניים, כאשר ההתמודדות עם קיצוניות הייתה האתגר המורכב ביותר.
ממצאים מרכזיים:
כל ששת המודלים הציגו פערים ביכולתם לזהות הטיה כלפי יהודים, ציונים/ציונות, ולהבחין בקיצוניות, ולעיתים לא הצליחו לזהות ולהפריך תאוריות מזיקות או כוזבות. כל המודלים יכולים להשתפר בהתמודדות עם סוג התוכן המזיק שנבחן.
הביצועים השתנו בין קטגוריות ההטיה ובין סוגי תקשורת. המודלים נטו להפריך טוב יותר סטריאוטיפים אנטי‑יהודיים מסורתיים, כמו טענות על שליטה יהודית בתקשורת או הכחשת השואה, מאשר תוכן אנטי‑ציוני וקיצוני. הם התקשו במיוחד בזיהוי ובהתמודדות עם חומרים קיצוניים.
בממוצע, המודלים הציגו את הביצועים הטובים ביותר כאשר ענו על שאלות סקר, והגרועים ביותר כאשר התבקשו לסכם מסמכים. כשל בזיהוי ובהפרכת הטיות בעת סיכום מסמכים כלל מקרים שבהם המודלים סיפקו טיעונים התומכים בתאוריות שנאה, כמו הטענה שיהודים שולטים במערכת הפיננסית, ללא ציון שמדובר בתיאוריה מזיקה וללא טיעוני נגד.
חלק מהמודלים אף יצרו תוכן מזיק בתגובה לפקודות פשוטות יחסית, כגון תסריטים ליוטיוב, שהציגו דמויות האומרות: "הבנקים המרכזיים הנשלטים בידי יהודים הם האחראים הנסתרים מאחורי כל קריסה כלכלית גדולה".
מודל Claude הפגין ביצועים חזקים באופן יחסי. על אף שהמודל עדיין זקוק לשיפור, במיוחד בהתמודדות עם תוכן קיצוני, הוא עלה על כל שאר ה‑LLMs והראה יכולת יוצאת דופן לזהות ולהגיב לנרטיבים אנטי‑ציוניים ואנטי‑יהודיים במגוון רחב של סוגי פקודות.
“ככל שבינה מלאכותית משפיעה יותר על הדרך שבה אנשים נחשפים למידע, מגבשים דעות ומקבלים החלטות, האופן שבו מודלים מתמודדים עם אנטישמיות וקיצוניות משפיע ישירות על החיים האמיתיים" אמר ג'ונתן גרינבלט, המנכ"ל העולמי של הליגה נגד השמצה. “מדד ה‑AI החדש של הליגה נגד השמצה חושף מציאות מטרידה: כל מודל AI שבדקנו מציג פערים כלשהם בהתמודדות עם הטיה כלפי יהודים וציונים, וכולם מתקשים עם תוכן קיצוני. כאשר מערכות אלה נכשלות באתגר או אף משחזרות נרטיבים מזיקים, הן לא רק משקפות הטיה, הן עלולות להגביר ואף להאיץ את הפצתה".
"המדד הזה ממלא פער קריטי במחקר בטיחות AI, בכך שהוא משלב מומחיות תוכן עם בדיקות סטנדרטיות לתוכן אנטישמי, אנטי‑ציוני וקיצוני". אמר אורן סגל, סגן נשיא בכיר למודיעין ולמאבק בקיצוניות בליגה נגד השמצה.
"אמנם מודל אחד הציג ביצועים טובים יותר, אך אף מערכת שנבדקה אינה ערוכה באופן מלא להתמודד עם כלל הנרטיבים האנטישמיים והקיצוניים שהמשתמשים עלולים לפגוש. האינדקס מספק מדדים ברורים ומדידים לשיפור אמיתי".
המדד מיועד למגוון רחב של קהלים, כולל מפתחי המודלים, אך גם משתמשים עיקריים כמו מחנכים, בתי ספר, הורים ומשתמשים יומיומיים. הוא רלוונטי גם למחוקקים ולרגולטורים בעיצוב כללי בטיחות ל‑AI, לארגוני חברה אזרחית הפועלים למען לקיחת אחריות, ולמפתחי מודלים המבקשים לשפר את המערכות שלהם.
"זהו בדיוק הרגע שלשמו הוקם מכון הדירוגים וההערכות", אמר דני בארפוט, מנהל בכיר במכון הדירוגים וההערכות של הליגה נגד השמצה.
“עבודתנו החלה בהגשת שקיפות ופעילות למען לקיחת אחריות בכל הקשור בדרך בה מטפלים מוסדות אקדמיים באנטישמיות, התרחבה למדיניות של מדינות, וכעת מגיעה לטכנולוגיות מהמורכבות והמשמעותיות ביותר בחיי הציבור. ככל שמערכות AI משפיעות יותר על מה שאנשים רואים, בו מאמינים ומשתפים אותו, אחריות מדעית ומבוססת עובדות אינה רשות. היא חיונית".
