בואו נדבר על החשיבות של סטטיסטיקה לאנליסטים
זה נושא גדול, ולסטטיסטיקה — ולמתמטיקה בכלל — יש שימושים נפוצים מאוד. אז חשבתי להקדיש קצת זמן לכתיבה על סטטיסטיקה, ובעיקר על הדברים המוזרים שאנחנו עושים איתה.
כמה נורמלית היא נורמלית?
הנושא הראשון הוא כזה שנוטים להתעלם ממנו: הנחת הנורמליות. לרבים מהמבחנים הסטטיסטיים שלמדנו בקורסים שונים יש קשר הדוק להנחה שהדאטה שלנו מתפלג נורמלית.
אבל מה אם הוא לא?
ובכן, ראיתי לא מעט מקרים שבהם פשוט ״מניחים״ נורמליות במקום שאין כזאת. בין אם מנסים לנרמל את בסיס הנתונים ובין אם פשוט מתעלמים מהבעיה, יכולות להיות לזה השלכות הרסניות מהמון סיבות. אבל לדעתי הסיבה הבסיסית ביותר היא איכות או שיטת דגימה לקויה.
הנחות הן אם כל הפאשלות
וגם כאן זה לא שונה: אם אתם מניחים משהו לגבי הדאטה שלכם, היו מוכנים לגלות שהכול באנליזה שלכם בסדר — חוץ מהדבר האחד שהנחתם שהוא נכון. ולכן בעצם שום דבר לא נכון.
מה שמביא אותנו לדגימה.
בואו נדבר על דגימה:
למה אנחנו דוגמים?
- כי אנחנו לא רוצים לבצע פעולה על כל בסיס הנתונים.
- כי לבצע פעולה על כל בסיס הנתונים יהיה יקר מדי.
- כי לבצע פעולה על כל בסיס הנתונים יפגע במטרה המקורית שלנו. דמיינו שכדי לאבחן מחלה אצל אדם היינו מוציאים את כל הדם שלו, במקום לקחת דגימה.
- כי לבצע פעולה על כל בסיס הנתונים ייקח יותר מדי זמן, ועוד הרבה סיבות.
מהי, אם כך, התכונה החשובה ביותר של מדגם? הוא צריך לייצג טוב ככל האפשר את האוכלוסייה שממנה נלקח. אני מלא בשאלות רטוריות, מה?
התמונה הזאת מציגה ארבעה סוגים של התפלגויות:
- נורמלית / בינומית — Normal/binomial.
- מוטה שמאלה — Left Skewed.
- מוטה ימינה — Right Skewed.
- דו־נורמלית — Binormal.
כל אחת יכולה לייצג תופעה אחרת. התפלגות מוטה ימינה יכולה לייצג את הזמן שאנשים מבלים בעמוד או באתר שלכם, התפלגות מוטה שמאלה יכולה להיות התפלגות המחירים בחנות אלקטרוניקה, והתפלגות נורמלית יכולה להיות סקר שביעות רצון, למשל.
אם אנחנו רוצים לדגום את האוכלוסיות, לא נוכל לקחת את אותו מדגם עבור התפלגות שמוטה שמאלה ועבור כזאת שמוטה ימינה, נכון? ההתפלגות האחידה פרושה באופן שווה על פני כל הערכים, בעוד שהתפלגות גמא גבוהה מאוד בצד של הערכים הנמוכים ונמוכה מאוד מאוד מאוד בערכים הגבוהים — מה שנקרא זנב ימני ארוך.
עכשיו, אם אנחנו רוצים לבצע מבחנים — ובפרט מבחני A/B — נצטרך להשתמש במדגם. אם השינוי קטסטרופלי, עדיף שלא נאבד את המכנסיים. כאן בדיוק נכנסת לתמונה דגימה איכותית, שמגיעה מתוך היכרות עם התפלגות הדאטה. ועכשיו לסוגיה בוערת נוספת בהבנת הסטטיסטיקה שלנו.
הבעיה עם אחוזים
״שקרים, שקרים ארורים וסטטיסטיקה.״
רוב האנשים שמשתמשים בציטוט הזה מבינים סטטיסטיקה מצוין, או בכלל לא. אלה שבאמצע כמעט אף פעם לא משתמשים בו, וטוב שכך — הוא מעצבן.
לאחרונה, מאז שהתחלתי לענות על שאלות של קוראים — אז כן, אתם מוזמנים לשאול עוד כאן — נראה שאני מגיע ליותר ויותר אנשים. ותראו את קצב הצמיחה! אני מגיע ל־3000% יותר אנשים מאשר לפני שלוש שנים! הידד! אני על גג העולם וכל זה.
ובכן, די קל לראות את הבעיה בהתלהבות הבלתי מתפשרת הזאת. אולי אפשר לעצור לרגע ולומר שהמספרים המוחלטים קצת פחות ממרהיבים. כלומר, אחד הדברים בהצגת יחס הוא שהוא מציג רק את היחס הזה. אין בו ניואנסים, ואני רוצה לעודד אתכם להביא את זה בחשבון בכל פעם שאתם רואים יחס.
אז בסדר, מצוין, אי אפשר להשתמש ביחס כדי להראות התקדמות. מה עכשיו? כאן נכנס ההקשר. אפשר להשתמש ביחס, אבל צריך לשים לב מאוד למה שהוא באמת מייצג. צריך לדעת לשמור את היחס בפרופורציה — סליחה על משחק המילים.
כלומר, אפשר לקחת את היחס בין רכישות לסכום הרכישה, אבל רק בתוך ארבע סטיות התקן שסביב הממוצע, בהנחת התפלגות נורמלית*. או לקחת את כל המוצרים שיש להם לפחות p רכישות, כדי לדעת שההחלטות שלנו נשענות על היקף מסוים.
המסר המרכזי כאן הוא שדאטה, בפני עצמו, הוא חסר משמעות. אלה מספרים באוויר — פוגייזי, פוגאזי וכל הג׳אז הזה. לכל פיסת מידע שאתם עובדים איתה יש משמעות רק אם אתם יכולים ליצור את המשמעות הזאת סביבה ולחבר אותה לתחום שלכם.
רק תזכורת: אני עדיין מקבל שאלות בהודעות פרטיות, בפומבי ובאמצעות יוני דואר, למרות שהן קצת פחות אמינות.
* שמישהו יזכיר לי לדבר מתישהו על ההנחה הזאת.
