נניח שאתם מפתחים מערכת AI שבה מספר סוכנים עובדים יחד כדי לפתור משימה מורכבת, כמו ניהול רשת תחבורה או תיאום רובוטים במפעל. הסוכנים מתקשרים, מחליפים מידע ומקבלים החלטות. אבל פתאום, התוצאות לא מתיישבות עם המציאות: החלטות שגויות, תקלות בתיאום, או התנהגות לא צפויה. מה גורם לכך? האם מדובר ב'הזיות' של המודלים – כלומר יצירת מידע שגוי ובלתי מבוסס? לא בהכרח.
מחקרים ודיונים בקהילת המפתחים מראים שכאשר מערכות Multi-Agent נכשלות, לעיתים קרובות הבעיה היא בהנחות יסוד מוטעות שהוטמעו במערכת – מה שמכונה Inherited Assumptions. אלו הן הנחות לגבי הסביבה, האינטראקציות, או מגבלות טכניות שהמערכת מתבססת עליהן, אך אינן מדויקות או לא מתאימות למצב האמיתי.
למשל, סוכן עשוי להניח שהמידע שהוא מקבל מסוכן אחר הוא תמיד מדויק, או שהזמן בין פעולות הוא קבוע. אם הנחות אלו אינן נכונות, גם התנהגות 'הגיונית' של הסוכנים עלולה להוביל לכשלים. זה שונה מ'הזיות' שבהן המודל ממציא מידע שגוי ללא בקרה – כאן מדובר בבעיות מבניות שמגיעות מהבסיס.
מה זה אומר למפתחים ולבנאי AI Agents? קודם כל, זה מדגיש את החשיבות של בדיקה ביקורתית של ההנחות שמאחורי המערכת כולה, לא רק תיקון טעויות נקודתיות במודלים. יש צורך בכלים ושיטות שיאפשרו לאתר ולהעריך את ההנחות הללו לאורך כל מחזור הפיתוח.
מתי כדאי להעמיק בבדיקת Inherited Assumptions? בעיקר כשמערכות Multi-Agent מראות כשלים חוזרים או התנהגות לא צפויה, למרות שהמודלים עצמם נראים תקינים. מתי לא? כשמדובר בטעויות נקודתיות או בנתונים שגויים שמקורם ברור, אז התמקדות ב'הזיות' או באגים ספציפיים היא עדיפה.
הלקח המרכזי הוא שהצלחת מערכות Multi-Agent תלויה לא רק באיכות המודלים, אלא גם בהתאמת ההנחות הבסיסיות למציאות שבה הן פועלות. פיתוח מערכות אמינות יותר מחייב מעבר מתיקון תסמינים לטיפול בשורש הבעיה – ההנחות המוטעות שמונחות בבסיס המערכת.