והנה הפוסט השלישי (והאחרון?) בנושא מבחני AB, אחרי שבפוסט הראשון דיברנו על מוגבלות המסקנות שלנו ממבחנים, ובפוסט השני דיברנו על החמדנות של מבחני ה-AB, נלך לנושא שהוא 'קלישאתי' יותר בעיניי, אבל עדיין נקודה שמאוד שווה להאיר עליה זרקור לרגע.
אם העניין לקרוא בפוסטים האחרים בסדרה בוער בעצמות
הפעם נדבר על טרנזיטיביות של מסקנות במבחנים
דבר ראשון, בואו נדבר על טרנזיטיביות –
מה הוא כלל ההעברה?
טרנזיטיביות,כלל ההעברה, הוא יחס שמקיים את כלל המעבר, כלומר, אם א' מתייחס לב', וב' מתייחס לג', אז א' מתייחס לג'
איפה אנחנו יכולים למצוא טרנזיטיביות בחיים שלנו?
ובכן, בכל מני מקומות –
על צירים אורדינלים (בהם הסדר משנה) – טרנזיטיביות מתקיימת בצורה אינהרנטית (עשר גדול מחמש, חמש גדול מאחד, עשר גדול מאחד)
על סולמות אינטרוולים – קומה שמינית גבוהה מקומה שישית, קומה שישית גבוהה מקומת המרתף – קומה שמינית גבוהה מקומת המרתף
עכשיו, אחרי שביססנו איפ הטרנזיטיביות מופיעה, נציג דוגמה למבחן AB
מרפרר בצורה כמעט העתקתית לפוסט על החמדנות של מבחני AB – הכפתור באדום (כן, אני דבק בבדיחה הזאת, למרות שהיא מצחיקה רק אותי, וגם זה כי היה פה יום קשה על כוחותינו)
יש לנו כפתור אדום, אנחנו מניחים שאם נשנה את הצבע שלו לירוק – נקבל תוצאות יותר טובות – מבצעים את המבחן, והופס, צדקנו והכל טוב.
צבע הכפתור עכשיו הוא ירוק.
עכשיו, יש לנו כפתור ירוק, אנחנו מניחים שאם נשנה את הצבע שלו לכחול – נקבל תוצאות יותר טובות – מבצעים את המבחן, והופס, צדקנו והכל טוב.
האם כפתור כחול טוב יותר מכפתור אדום?
לא באופן וודאי.
ואני חושב שאת הדוגמה האינטואיטיבית ביותר קיבלתי דווקא בכנס הידעת 2022 – שם באחת ההרצאות, Igal goldfine, הצביע על כך שהיעדר הטרנזיטיביות של מבחני AB משולים למשחק אבן, נייר ומספריים.
נכון, במשחק זאת מערכת סגורה שבה אנחנו יודעים בוודאות מה מערכת הכוחות ובמבחני AB אנחנו לא יודעים בוודאות, אבל העובדה היא שעד שאנחנו לא בודקים את זה – הטרנזיטיביות לא בהכרח מתקיימת.
אם הייתי רוצה לתת דוגמה של מבחן AB שהוא כן טרנזיטיבי *כנראה* בהכרח – הייתי מנסח את הדוגמה הבאה:
נבצע מבחן במכולת אינטרנטית בשנות השמונים של השפעת מחירי המסטיק אבטיח על כמות המכירות של אותו מסטיק אבטיח (כן, ההוא עם הסוכריות השחורות באמצע)
חשוב לעמוד פה על דיוק ההגדרות – אנחנו בוחנים קשר בין מחיר לכמות (ולא להכנסות, נגיד)
המצב הנוכחי הוא שהמחיר עבור מסטיק אבטיח עם סוכריות שחורות כרגע הוא 100 שקלים למסטיק.
אנחנו נבצע מבחן שבו נשנה את המחיר לחצי שקל – באופן טבעי למדי, כמות המסטיקים שתמכר תעלה.
עכשיו מצב הבסיס שלנו הוא מסטיק בחצי שקל, ונבצע עוד מבחן שבו נוריד את מחיר המסטיק ל-0 שקלים, באופן טיפה יותר טבעי, גם פה כמות המסטיקים ש"תמכר" – תעלה.
מכאן נראה לי שדי ברורות האפשרויות, והרציונל מאחורי הקביעה שמבחני AB הם לא טרניזיטיביים, וההצעה כשלעצמה היא די ברורה – כשנרצה לבדוק שיפור של שינוי (או היעדר השיפור), אנחנו לא חייבים לבדוק את הואריאנט החדש מול כל ואריאנט שהיה בעבר, אבל אנחנו לא יכולים להניח שהואריאנט החדש יהיה בהכרח טוב יותר מכל מה שעבר לפניו, רק משום שעבר לפניו.
בכל מקרה, מקווה שזה עוזר קצת בבניית מבחני AB
