על חוסר הטרנזיטיביות של מבחני AB
ניצחון בהשוואה אחת במבחן A/B לא מבטיח דירוג כולל של כל הגרסאות. טל מזרחי מסביר חוסר טרנזיטיביות ואת המגבלות של הסקת המסקנות.
לקריאת המאמר→ לכל הקטגוריות
קטגוריה
ניסויים והסקת מסקנות
מבחני A/B, חשיבה סטטיסטית ומה הנתונים באמת מאפשרים לנו להסיק.
למי שרוצה להבין גם את הכוח של ניסוי וגם את המגבלות שלו.
מדריך קריאה
אילו שאלות בודקים כאן?
תוצאה מובהקת אינה סוף השיחה. כל ניסוי תלוי באוכלוסייה, בתקופה, בהשוואות ובמטרה שבחרנו. המאמרים כאן עוזרים לבדוק עד לאן המסקנה תקפה, לפני שהופכים גרסה מנצחת לתשובה קבועה.
- מתי תוצאת מבחן A/B מפסיקה להיות רלוונטית?
- האם ניצחון על גרסה אחת יוצר דירוג של כל הגרסאות?
- מה אנחנו מפספסים כשמחפשים רק שיפור מקומי?
מסלול קריאה מומלץ
המוגבלות העיתית של מבחני AB
מתחילים בשאלה אם תוצאה מתקופה אחת מתאימה גם לתקופה אחרת.
על החמדנות של מבחני AB
בודקים מה מרוויחים ומה מפסידים כשממשיכים לשפר את הגרסה שכבר ניצחה.
על חוסר הטרנזיטיביות של מבחני AB
מבינים מדוע השוואות נפרדות לא תמיד מאפשרות להכריז על מנצח כולל.
לנסות בעבודה
בחרו ניסוי שהסתיים. כתבו מי השתתף, מתי הוא נערך, מה היה המדד ומה הושווה. איזה שינוי בהקשר יגרום לכם לבדוק מחדש את המסקנה?
כל המאמרים בקטגוריה
על החמדנות של מבחני AB
מבחני A/B יכולים לקדם שיפור מקומי ולהחמיץ אפשרויות אחרות. טל מזרחי על החמדנות של הניסוי ועל השאלות שכדאי לשאול לפני שממשיכים לשפר.
לקריאת המאמר
המוגבלות העיתית של מבחני AB
תוצאות של מבחני A/B תלויות בזמן, באוכלוסייה ובהקשר. איך בודקים אם מסקנה מתקופה אחת מתאימה גם להחלטה הבאה?
לקריאת המאמר