שמירה על AI מדויק: מעקות בטיחות והערכה

שמירה על AI מדויק לא קשורה למציאת מודל חכם יותר - זה לבנות סביבו מעקות בטיחות ולבחון אותו כמו שבוחנים עובד חדש. ארבעת הצעדים המרכזיים פשוטים: לעגן את תשובות ה-AI בנתונים האמיתיים שלך במקום בזיכרון שלו, לשמור אדם בלולאה לכל דבר שחשוב, לבדוק על דוגמאות אמיתיות לפני שסומכים עליו, ולנטר אחרי ההשקה. ארבעת הצעדים האלה הופכים כלי מרשים-אך-לא-אמין לחלק אמין בעסק.

הסיבה שזה חשוב: AI ממציא דברים בביטחון מלא. מודל שפה ייתן תשובה שוטפת וסמכותית גם כשהוא טועה, והביטחון הזה הוא בדיוק מה שמרמה אנשים. אני בונה יכולות AI לעסקים קטנים, וההבדל בין פרויקט שעובד לפרויקט שגורם בעיות בשקט הוא כמעט תמיד מעקות הבטיחות וההערכה סביב המודל - לא המודל עצמו. במדריך הזה אפרוש את כל תוכנית הפעולה במונחים פשוטים.

למה AI טועה: הזיות

הדבר הראשון להבין הוא למה AI לא מדויק, כי הפתרון נובע מהסיבה. מודל שפה גדול לא מחפש מידע - הוא מנבא טקסט סביר על בסיס דפוסים שלמד. רוב הזמן החיזוי הזה נכון ושימושי. אבל כשהוא לא יודע משהו, הוא לא אומר "אני לא יודע" - הוא מייצר תשובה שנשמעת סבירה בכל זאת. זה נקרא הזיה, וזו בעיית הדיוק המרכזית.

האנלוגיה שאני משתמש בה: AI שמהזה הוא כמו עובד חדש בטוח בעצמו שמעדיף לתת תשובה שגויה חלקה מאשר להודות שהוא לא בטוח. הפלט נראה מלוטש בדיוק כמו תשובה נכונה, וזה מה שהופך אותו למסוכן - אי אפשר לדעת מהטון אם הוא צודק. אני מעמיק במצב הכשל הזה ואיך לזהות אותו באיך להימנע מטעויות והזיות של AI; כאן אני מתמקד במערכות ששומרות עליו בשליטה.

עיגון: לתת ל-AI את העובדות האמיתיות

הטכניקה היחידה היעילה ביותר לדיוק היא עיגון: במקום לבקש מה-AI לענות מזיכרון האימון שלו, מזינים לו את העובדות הרלוונטיות ומבקשים שיענה רק לפיהן. אם לקוח שואל על מדיניות ההחזרות - לא מקווים שה-AI זוכר אותה, אלא נותנים לו את הטקסט האמיתי ומבקשים שיענה לפיו.

הדרך הנפוצה לעשות זאת בקנה מידה נקראת RAG (יצירה מועשרת באחזור). זה נשמע טכני, אבל הרעיון פשוט: כששאלה מגיעה, המערכת קודם מאחזרת את המסמכים הרלוונטיים ממאגר הידע שלך, ואז מוסרת אותם ל-AI שיענה לפיהם. ה-AI הופך לקורא חכם של התוכן המהימן שלך במקום מנחש שעובד מזיכרון. אם שוקלים איך ללמד AI את העובדות שלך, אני משווה את האפשרויות בRAG מול fine-tuning מול prompting.

עיגון חותך הזיות באופן דרמטי כי ה-AI כבר לא ממציא - הוא מסכם ומסביר עובדות שסיפקת. יש גם יתרון גדול נוסף: ה-AI יכול לצטט את המקור שלו, כך שאדם יכול לבדוק את התשובה מול המקור המקורי. כל AI עסקי רציני שעונה על שאלות עובדתיות צריך להיות מעוגן בנתונים האמיתיים. אם הוא עונה מזיכרון גולמי, הדיוק על כל דבר ספציפי לעסק הוא הטלת מטבע.

אדם בלולאה: רשת הביטחון

עיגון מצמצם טעויות אבל לא מבטל אותן לחלוטין, ולכן העמוד השני הוא שמירת אדם בלולאה. הכוונה פשוטה: אדם בודק או מאשר את הפלט של ה-AI לפני שיש לו השלכות אמיתיות. הטריק הוא ליישם זאת ביחס לסיכון - לא בכל מקום באופן שווה.

העיקרון: הניסוח אוטומטי, ההחלטה אצל האדם. ככל שהאמון נבנה ויש ראיות שה-AI מתפקד היטב במשימה מסוימת, אפשר להרפות מהפיקוח על החלקים הפחות מסוכנים. אבל כל דבר בלתי הפיך או בעל סיכון גבוה - שומר אדם בלולאה ללא הגבלת זמן. זו אותה משמעת ששומרת על סוכני AI בטוחים, נושא שאני מכסה במה זה סוכן AI. את שלב האישור-לפני-שליחה קל לשלב באוטומציה, כמו באיך לבנות תהליך AI עם Zapier ו-ChatGPT.

הערכה: לבדוק לפני שסומכים

זהו השלב שרוב העסקים מדלגים עליו, והוא זה שמפריד AI אמין מתקווה. לפני שמשחררים יכולת AI, צריך להעריך אותה - לבדוק אותה על דוגמאות אמיתיות ולמדוד כמה פעמים היא צודקת. זו פשוט בקרת איכות ל-AI, וזה לא אופציונלי.

הגרסה המעשית לעסק קטן לא מצריכה כלים מפוארים:

1. בונים מערך בדיקה. אוספים עשרים עד חמישים דוגמאות אמיתיות של המשימה - שאלות לקוחות אמיתיות, מסמכים אמיתיים, קלטים אמיתיים - יחד עם התשובה הנכונה לכל אחת.
2. מריצים את ה-AI מולן. מעבירים כל דוגמה דרך ה-AI ומתעדים מה הוא מייצר.
3. נותנים ניקוד לתוצאות. מסמנים כל אחת כנכונה, שגויה, או גבולית. עכשיו יש מספר דיוק אמיתי במקום תחושת בטן.
4. מתקנים ובודקים שוב. מתאימים את הפרומפט, את נתוני העיגון, או את מעקות הבטיחות, ואז מריצים את אותו מערך בדיקה שוב כדי לראות אם הניקוד השתפר.

ריצות הבדיקה האלה נקראות לעתים קרובות evals. המטרה היא להפוך את הדיוק למדיד וחזרתי. כשמישהו שואל "האם ה-AI טוב מספיק?", רוצים לענות "הוא צדק ב-47 מתוך 50 במערך הבדיקה האמיתי שלנו" - לא "נראה בסדר כשניסיתי". וחשוב לא פחות: מריצים את ה-evals מחדש בכל פעם שמשנים את הפרומפט או מחליפים מודל, כי שינוי שעוזר למקרה אחד יכול לשבור בשקט מקרה אחר.

ניטור: דיוק הוא לא דבר חד-פעמי

לעבור את ה-evals בהשקה זה לא קו הסיום. קלטים אמיתיים נודדים עם הזמן, מודלים מתעדכנים, ומקרי קצה שלא נבדקו יגיעו. לכן העמוד הרביעי הוא ניטור ה-AI ב-production.

• מתעדים הכל. שומרים רישום של מה ה-AI נשאל ומה הוא ענה, כדי שאפשר יהיה לבחון איכות ולחקור תלונות.
• שמים לב לאותות כשל. עוקבים אחר מתי משתמשים מתקנים את ה-AI, מסלימים לאדם, או נוטשים שיחה. אלה האזהרות המוקדמות.
• דוגמים ובודקים. קוראים מדי פעם אצווה אקראית של אינטראקציות אמיתיות כדי לתפוס נדידה איטית שאחרת מפספסים.
• מחזיקים מתג כיבוי. צריך להיות אפשר לכבות יכולת AI או לחזור לאדם במהירות אם הדיוק יורד. לא כדאי להשיק שום דבר שאי אפשר למשוך חזרה.

ניטור הוא מה שתופס בעיה לפני שהלקוחות תופסים אותה. AI שהיה מדויק בהשקה יכול להידרדר בשקט, ובלי ניטור מגלים את זה רק מלקוח מתוסכל או טעות יקרה.

תוכנית הדיוק במבט מהיר

ביחד, ארבעת העמודים האלה הם כל המשמעת של שמירה על AI אמין. אף אחד מהם לא אופציונלי לכל דבר שחשוב.

1. עיגון - מזינים ל-AI את העובדות האמיתיות ומבקשים שיצטט מקורות, במקום לענות מזיכרון.
2. אדם בלולאה - ביחס לסיכון, עם אישור נדרש לכל דבר בלתי הפיך.
3. הערכה לפני שסומכים - בודקים על דוגמאות אמיתיות, נותנים ניקוד, ובודקים שוב אחרי כל שינוי.
4. ניטור אחרי ההשקה - מתעדים, שמים לב לאותות כשל, דוגמים אינטראקציות, ומחזיקים מתג כיבוי.

ניסוח ישיר: דיוק AI הוא בעיית הנדסה ותהליך, לא תכונת קסם של המודל. העסקים שנכווים מתייחסים למודל כאילו הוא תמיד צודק. אלה שמצליחים בונים את מעקות הבטיחות האלה סביבו ומתייחסים לדיוק כמשהו שמודדים ומתחזקים - בדיוק כמו כל חלק אחר בבקרת איכות. זה מתחבר היטב גם לאבטחת AI: הרבה מעקות בטיחות ששומרים על AI מדויק גם שומרים עליו בטוח, כפי שאני מכסה בprompt injection ואבטחת AI.

אם רוצים יכולת AI שמדויקת מספיק כדי לסמוך עליה בעבודה אמיתית, אפשר לקבוע שיחה ולספר לי את המשימה. אעזור לעגן אותה, לקבוע את רמת הפיקוח האנושי הנכונה, ולהכניס הערכה למקום כדי שיהיה ברור שהיא עובדת לפני שמסתמכים עליה. אפשר גם להגיע דרך טופס יצירת הקשר, או לקרוא עוד על בחירת כלים בחוכמה בכלי AI שכל עסק קטן צריך להכיר.