סוכן AI עונה לא נכון: חוקי עצירה, אימות והעברה לפני שמתקנים פרומפט

כאשר סוכן AI טועה, לא תמיד הפתרון הוא להאריך prompt. קודם מסווגים את הכשל: ידע לא מעודכן, מקור חסר, פרשנות שגויה, מידע אישי, פעולה שלא היה מותר לבצע או ניסוח לא ברור. לכל סוג צריך הגנה אחרת.

חוקי עצירה קובעים מתי הסוכן לא עונה: אין מקור מאומת, השאלה כוללת חיוב או שינוי חשבון, הביטחון נמוך, או הלקוח מבקש אישור מקצועי. במקום תשובה, הסוכן אוסף פרטים מינימליים ומעביר לנציג עם סיבה. תשובה שניתנה נשמרת עם גרסת בסיס הידע שאפשר לשחזר.

מנתחים שגיאות במדגם קבוע ולא רק בתלונה הבאה. מתקנים מקור, כלל או מסלול, בודקים מול תרחישים ידועים ורק אז משחררים גרסה. כך השיפור הוא הנדסי ותפעולי, לא ניסוי אקראי על לקוחות.

מקור

OpenAI platform documentation