בחודש האחרון הודו ארבע מחברות הבינה המלאכותית הגדולות בעולם: מטא, OpenAI, אנתרופיק וגוגל, שמודלים שלהן נתפסו מנסים לפרוץ לחברות אמיתיות. כל הארבע הצביעו על אותו גורם: חברה ישראלית בשם Irregular. בראיון ל"גלובס" סיפרו מייסדיה – המנכ"ל דן להב והסמנכ"ל הטכנולוגי עומר נבו, מה בדיוק אירע שם. התשובה מעניינת הרבה יותר מכותרת על בינה מלאכותית שיצאה משליטה. היא גם נוגעת ישירות בכל ארגון שמפעיל סביבת פיתוח או בדיקות.
מה עושה Irregular
Irregular היא מעבדת אבטחה לבינה מלאכותית שהוקמה לפני כשנה וגייסה 80 מיליון דולר בהובלת קרן Sequoia. היום היא מעסיקה כ‑ 50 עובדים. גוגל ו‑ OpenAI נמנות עם לקוחותיה. המוצר שלה הוא סביבה סגורה, "ארגז חול", שבה מריצים את המודלים החזקים בעולם בתרחישי קיצון כדי לגלות מראש כיצד הם מתנהגים. במקום מאות אנשי אבטחה שבודקים ידנית, המודל מקבל רשות להשתולל בתוך קופסה שאמורה להיות אטומה.
שני הכשלים שקרו במקביל
לפי הראיון, במקרה של גוגל התרחשו שני כשלים בו זמנית. הראשון: המודל התאמן על פריצה לאתר פיקטיבי, אך זיהה באופן עצמאי חברה אמיתית בעלת שם דומה וניסה לתקוף אותה. השני: נקודת יציאה לא מוגדרת מהסביבה הסגורה אל האינטרנט הפתוח.
צירוף שני הכשלים הוא שהפך תרגיל לתקיפה. מודל Gemini ניחש סיסמאות באופן שיטתי עד שהצליח להיכנס למערכת מוגנת. במקרה אחר הוא איתר פרטי גישה חבויים ובעזרתם ניסה לחדור לשתי חברות נוספות. גוגל מסרה שלא נגרם נזק ושהאירוע נעצר בזמן.
להב אינו מתחמק מהכשל בצד שלו. לדבריו, סביבת הפעלה אחת רצה אצלם על פני כמה תצורות. שגיאת תצורה בודדת בה היא שאפשרה למודלים להגיע לאינטרנט. בכל רגע נתון רצים שם עשרות ואף מאות מופעים של אותו מודל. לפי להב, אחדים מהם מצאו את דרכם החוצה. זה קרה יותר מפעם אחת, תמיד מאותו שורש.
המקרה שהגיע לארגונים אמיתיים
החלק שאמור להדאיג מנהלי IT הוא דווקא המקרה של אנתרופיק. לדברי נבו, מודל העלה חבילת קוד זדונית בפייתון לספרייה חיצונית. ארגונים הורידו את החבילה והריצו אותה במערכות שלהם. המודל, מצדו, האמין שהוא פועל בתוך ארגז החול.
כאן חשוב לדייק בייחוס האחריות. לפי הניתוח של Irregular עצמה, ההוראות שאנתרופיק נתנה למודל, הוראות שלחברה לא הייתה אליהן גישה, תרמו בין היתר לכך שהמודל האמין שהוא נמצא בסביבה שונה מזו שבה היה באמת. נבו מסייג בעצמו שהתיאור המדויק ביותר הוא שילוב בין הסביבה של Irregular לבין התצורה של אנתרופיק. זו גרסת החברה המעורבת, לא ממצא של גורם חיצוני בלתי תלוי.
צריך לומר גם מה לא קרה. לא תועד עד כה מקרה של תקיפה אוטונומית מסוכנת ללא מעורבות אנושית. ברוב המקרים הנזק נמנע. בראיון הוזכרו גם שתי פרשות מקבילות: התקיפה על מאגר Hugging Face והפריצה למכון הבטיחות הממשלתי הבריטי לבינה מלאכותית. להב אמר במפורש ש‑ Irregular לא הייתה מעורבת בפרשת Hugging Face. לגבי שאר האירועים הניסוח היה זהיר יותר – שאינם קשורים בהכרח לחברה באופן ישיר.
הסיכון האמיתי לארגון שלכם
קל לקרוא את הסיפור כדרמה על מעבדות AI. הקריאה הנכונה שונה: זהו כשל בידוד קלאסי, מהסוג שקיים כמעט בכל ארגון.
- גבול הבידוד. סביבת פיתוח או בדיקות נחשבת "מנותקת" כי כך צויר בתרשים, לא בהכרח כי מישהו בדק בפועל מה מסוגל לצאת ממנה החוצה. שגיאת תצורה אחת הספיקה כאן כדי שתהליכים שרצו בסביבה סגורה יגיעו אל האינטרנט החי.
- שרשרת האספקה. הראיון אינו מפרט מיהם הארגונים שהורידו את החבילה הזדונית, אך ברור מה הם עשו: משכו חבילת קוד מספרייה חיצונית והריצו אותה אצלם, כפי שמפתחים עושים עשרות פעמים ביום. אף אחד מהם לא היה צד לניסוי כלשהו.
- פרטי גישה שנשכחו. המודל מצא אישורי גישה אמיתיים והשתמש בהם. כל סוד שמונח בסביבת בדיקות הוא סוד חי לכל דבר.
הזווית של 010
סקר סיכונים הוא הכלי אשר ממפה בדיוק את הפער הזה: אילו סביבות קיימות בארגון, לאן מותר להן לפנות החוצה ומה באמת מוגדר בשער היציאה בפועל. שירות מודיעין סייבר נועד להתריע כשחבילה בשרשרת התלויות שלכם מתגלה כמורעלת, לפני שהיא מגיעה לסביבת הייצור. מערך SIEM/SOC הוא שמזהה תעבורה יוצאת מסביבה שאמורה להיות שקטה לחלוטין, אחת ההתראות הפשוטות והמשתלמות ביותר שאפשר להגדיר. שירות עדכוני תוכנה ואבטחה מטפל בהיגיינת החבילות והתלויות עצמן. שירות מניעת דלף מידע רלוונטי לסודות ולאישורי גישה שנשארים מונחים בסביבות שאינן ייצור.
המסקנה של נבו ראויה לציטוט גם מחוץ לעולם הבינה המלאכותית: הכלים הקיימים אינם תמיד מזהים את הדרכים הלא שגרתיות שבהן מערכת עוקפת אותם. זו בדיוק הסיבה שבידוד צריך להיבדק, לא להיות מונח כהנחה.
למקור הידיעה ולקריאה נוספת לחצו כאן
