סטטיסטיקה ואנליסטים
למה סטטיסטיקה חשובה לאנליסטים: בדיקת הנחות, הבנת הדגימה ושמירה על ההקשר לפני שמסיקים מסקנות מהמספרים.
לקריאת המאמר→ לכל הקטגוריות
קטגוריה
ניסויים והסקת מסקנות
מבחני A/B, חשיבה סטטיסטית ומה הנתונים באמת מאפשרים לנו להסיק.
למי שרוצה להבין גם את הכוח של ניסוי וגם את המגבלות שלו.
מדריך קריאה
אילו שאלות בודקים כאן?
תוצאה מסודרת מבחינה סטטיסטית עדיין יכולה להיות בסיס חלש להחלטה. ניסויים תלויים באנשים, בתקופה, בהשוואות ובמטרות שבחרנו. כאן בודקים עד לאן אפשר לקחת מסקנה לפני שהופכים גרסה מנצחת לתשובה קבועה.
- מתי תוצאת מבחן A/B מפסיקה להיות רלוונטית?
- האם ניצחון על גרסה אחת יוצר דירוג של כל הגרסאות?
- מה נשאר מחוץ לתמונה כשמחפשים רק שיפור מקומי?
מסלול קריאה מומלץ
סטטיסטיקה ואנליסטים
בונים את ההרגל לבדוק הנחות ואת הדרך שבה נוצר המדגם.
המוגבלות העיתית של מבחני AB
שואלים אם תוצאה מתקופה אחת מתאימה גם לתקופה אחרת.
על חוסר הטרנזיטיביות של מבחני AB
מבינים מדוע השוואות נפרדות לא בהכרח יוצרות מנצח כולל.
על החמדנות של מבחני AB
בודקים מה החיפוש אחר שיפורים קטנים מונע מאיתנו ללמוד.
לנסות בעבודה
בחרו ניסוי שהסתיים. כתבו מי השתתף, מתי הוא נערך, מה היה המדד ומה הושווה. איזה שינוי בהקשר יגרום לכם לבדוק מחדש את המסקנה?
כל המאמרים בקטגוריה
על חוסר הטרנזיטיביות של מבחני AB
ניצחון בהשוואה אחת במבחן A/B לא מבטיח דירוג כולל של כל הגרסאות. טל מזרחי מסביר חוסר טרנזיטיביות ואת המגבלות של הסקת המסקנות.
לקריאת המאמר
על החמדנות של מבחני AB
מבחני A/B יכולים לקדם שיפור מקומי ולהחמיץ אפשרויות אחרות. טל מזרחי על החמדנות של הניסוי ועל השאלות שכדאי לשאול לפני שממשיכים לשפר.
לקריאת המאמר
המוגבלות העיתית של מבחני AB
תוצאות של מבחני A/B תלויות בזמן, באוכלוסייה ובהקשר. איך בודקים אם מסקנה מתקופה אחת מתאימה גם להחלטה הבאה?
לקריאת המאמר