מה זה A/B Testing? מדריך בשפה פשוטה ליזמים

A/B Testing הוא דרך להכריע ויכוח על האתר או המוצר בעזרת נתונים אמיתיים, לא דעות: מציגים גרסה אחת לחצי מהמבקרים וגרסה מעט שונה לחצי השני, ואז מודדים מי גרמה ליותר אנשים לעשות את מה שרוצים. השם פשוט נגזר משתי הגרסאות - A ו-B. אפשר לחשוב על זה כמו מבחן טעימה עיוור שבו הקהל בוחר את המנה שעדיפה - רק שכאן המנה היא צבע כפתור, כותרת, או מחיר, והקהל הם הלקוחות האמיתיים. במדריך הזה נסביר מה זה A/B Testing, איך מריצים מבחן הוגן, מה כדאי לבדוק, איזה טעויות הורסות תוצאות, ומתי זה באמת שווה את הזמן.

אז מה זה A/B Testing בעצם?

לכל עסק יש ויכוחים קטנים אין-סופיים. האם הכפתור צריך לכתוב "קנה עכשיו" או "התחל"? האם דף המכירות הארוך עדיף על הקצר? האם תמונה של המוצר מנצחת תמונה של מישהו שמשתמש בו? בדרך כלל ההכרעה נופלת למי שצועק חזק יותר או לבעל התואר הבכיר. A/B Testing מחליף את זה בראיות.

המנגנון פשוט: יוצרים שתי גרסאות של דף או פיצ'ר שנבדלות בדיוק בדבר אחד - A (הגרסה הנוכחית) ו-B (הרעיון החדש). כלי מפצל את המבקרים הנכנסים באקראי: חצי רואים A, חצי רואים B, וחשוב מכך - הם לא יודעים שהם בתוך מבחן. נותנים לזה לרוץ בזמן שאנשים מתנהגים טבעית, מודדים תוצאה ספציפית - מכירות, הרשמות, קליקים - ואחרי שמספיק אנשים עברו, הגרסה עם התוצאה הטובה יותר מנצחת ונהפכת לקבועה.

הכוח טמון במילים אמיתי ואקראי. לא שואלים אנשים מה הם חושבים שהיו עושים - זה ידוע כבלתי אמין. צופים במה שהם עושים בפועל, כשההבדל היחיד בין הקבוצות הוא השינוי הבודד שנבדק. זה מה שהופך ניחוש לעובדה.

איך מבחן הוגן נראה

כל הערך של A/B Testing תלוי בהוגנות. ברגע שפוגעים בהוגנות, התוצאה חסרת ערך. כמה כללים שחשוב לשמור עליהם:

הכי מסובך מכולם הוא גודל המדגם. עם קומץ מבקרים, B יכול להיראות כמנצח ברור - מתוך מזל גרידא, בדיוק כמו ששלוש הטלות מטבע שנופלות על אותו צד לא מוכיחות שהמטבע פגום. תוצאה אמיתית דורשת מספיק אנשים כדי לשלול את המקריות - ולכן A/B Testing מתאים הרבה יותר לאתרים עם תעבורה יציבה מאשר לחדשים שעדיין מקבלים טפטוף מבקרים.

מה כדאי לבדוק

לא כל דבר ראוי למבחן, ולבדוק דברים זניחים זה בזבוז משאבים. כדאי להתמקד בשינויים שיושבים קרוב לרגע שבו מבקר מחליט לפעול - כי שם נמצאים המנופים שמזיזים מספרים אמיתיים. היעדים בעלי הערך הגבוה ביותר:

• כותרות ומסר עיקרי: הדבר הראשון שמבקרים קוראים לרוב מכריע אם הם נשארים בכלל.
• קריאות לפעולה: הניסוח, הצבע והמיקום של הכפתור הראשי.
• תמחור והצעות: איך מציגים את המחיר, מה כלול בחבילה, אם מוצעת תקופת ניסיון.
• אורך הדף ופריסה: דף קצר וממוקד מול דף ארוך ומפורט.
• טפסים: מספר השדות - כי כל שדה נוסף עולה בהרשמות.
• תמונות: צילומי מוצר מול צילומי אורח חיים מול ללא תמונה בכלל.

כל אלה קרובים לנקודת ההמרה - הרגע שבו מבקר הופך ללקוח. לבדוק את גופן הפוטר לא ישנה שום דבר עסקי; לבדוק את הכותרת או התמחור יכול לשנות הרבה.

טעויות נפוצות שהורסות תוצאות

ראינו לא מעט מבחני A/B שהפיקו מסקנות בטוחות - ושגויות לחלוטין. האשמים הרגילים:

1. לעצור מוקדם מדי. B קופץ קדימה ביום הראשון, כולם חוגגים, המבחן נסגר - וההובלה הייתה מזל גרידא. כדאי לתת לזה לרוץ עד סיום מתוכנן.
2. לשנות יותר מדי בבת אחת. אם ל-B יש כותרת חדשה, צבע חדש ופריסה חדשה והוא מנצח - לא למדנו כלום על הסיבה, ולא נוכל לחזור על ההצלחה.
3. מעט מדי תעבורה. באתר עם תעבורה נמוכה מבחן יכול לקחת חודשים כדי להיות משמעותי, ואנשים מכריזים על מנצח הרבה לפני שהנתונים מצדיקים זאת.
4. לבדוק זוטות. לבזבז שבועות על גוון של כפתור בזמן שהבעיה האמיתית היא מחיר מבלבל או קופה שבורה.
5. להתעלם מהעלות. הקמת בדיקה קפדנית דורשת עבודה, ובמוצר צעיר המאמץ הזה לרוב עדיף להשקיע בשיחות עם לקוחות ובתיקונים מובנים מאליהם.

מתי A/B Testing שווה את זה

A/B Testing מצדיק את עצמו כשיש מספיק תעבורה כדי שהתוצאות יהיו אמינות, והשינוי הנבדק גדול מספיק כדי לשנות. חנות מבוססת, דף נחיתה עמוס, תהליך הרשמה ל-SaaS עם אלפי מבקרים חודשיים - אלה מועמדים מושלמים, ורווחים קטנים באחוזים שם מתרגמים לכסף אמיתי. מוצר חדש לגמרי עם קומץ מבקרים יומיים בדרך כלל עדיין לא מוכן לזה; בשלב הזה לומדים הרבה יותר משיחות ישירות ומשינויים מובנים מאליהם - זוהי הרוח של המעבר מרעיון למוצר ראשון. הרצת מבחנים נקיים גם תלויה בכך שהאתר בנוי לתמוך בהם - להחליף גרסאות ולעקוב אחרי תוצאות באמינות - וזה קל כשהfrontend וה-backend במצב טוב, וכואב כשהם מסובכים.

אז כדאי לדעת על A/B Testing?

כדאי לאמץ את הגישה שמאחוריו יותר מאשר את המכניקה הספציפית: ההרגל להכריע ויכוחי מוצר בעזרת ראיות מהתנהגות לקוחות אמיתית - לא דעות, בכירות, או ניחושים. גם מי שלא ירוץ מבחן רשמי, השאלה "איך בעצם נדע איזו גרסה טובה יותר?" תחדד כל החלטה. וברגע שיש תעבורה אמיתית, A/B Testing הוא הכלי האמין ביותר לסחוט יותר תוצאות ממה שכבר נבנה - לעתים קרובות הרבה יותר זול מלבנות משהו חדש.

אם יש תעבורה יציבה ותחושה מציקה שהאתר יכול להמיר טוב יותר, A/B Testing הוא בדרך כלל איך מגלים זאת בוודאות - והקמתו כמו שצריך היא בדיוק סוג העבודה שאני עושה ללקוחות. קובעים שיחה ומספרים איפה נדמה שמאבדים מבקרים - ואגיד בכנות אם בדיקה היא הצעד הנכון הבא, או אם יש משהו פשוט יותר שיזיז את המחט מהר יותר. אפשר גם לפנות דרך טופס יצירת הקשר.