מחלקת הכספים אמרה שההכנסות ירדו.

השיווק אמר שההכנסות עלו.

צוות המוצר אמר שהן פחות או יותר לא השתנו.

שלושה צוותים, שלושה דשבורדים, שלושה סיפורים בטוחים בעצמם. אף אחד לא המציא מספרים. אף אחד לא היה חסר יכולת. הם מדדו גרסאות שונות של ״הכנסות״ והתווכחו כאילו המחלוקת הייתה חישובית, ולא מחלוקת על הגדרות.

זאת עקביות.

עקביות שואלת אם אותו מושג מיוצג ומחושב באותה דרך במערכות שונות, בדוחות שונים ולאורך זמן. אם צוות אחד משתמש בהכנסות ברוטו, אחר לא כולל החזרים ושלישי מדווח באיחור על הכנסות שהוכרו חשבונאית, כל המספרים יכולים להיות נכונים בפני עצמם — וביחד להיות חסרי תועלת.

זאת אחת הסיבות שבעידן מודלי השפה אנליסטים צריכים להיות קפדניים יותר, לא פחות. AI יכול לייצר שאילתות במהירות. הוא גם יכול לייצר שלוש שאילתות הגיוניות לחלוטין עבור שלוש הגדרות שונות במעט, ולהשאיר את הצוות מתווכח על תוצרים שההגדרות שמאחוריהם מעולם לא תואמו.

״הכנסות״ הן לא מדד עד שמישהו מגדיר אותן

אנשים מדברים על מדדים כאילו השמות שלהם מכילים את המשמעות שלהם.

הם לא.

Revenue יכול להיות:

  • שווי הזמנות ברוטו לפני הנחות.
  • הסכום נטו שנגבה לאחר הנחות.
  • הכנסות שהוכרו לפי הכללים החשבונאיים.
  • הכנסות ללא מסים ומשלוחים.
  • הכנסות ללא הזמנות שהוחזר עבורן התשלום.

כל אלה יכולים להופיע בדשבורד תחת התווית הפשוטה Revenue.

דעה נחרצת אחת: רוב הוויכוחים על דשבורדים אינם ויכוחים על דאטה. אלה כשלים בהגדרת המוצר שהתחפשו לאנליטיקה.

הכנסות ברוטו, נטו, מוכרות, מוחזרות, רשומות ודמיוניות

עסקים צוברים גרסאות של מדדים כי לכל יחידה יש צורך מקומי לגיטימי. מחלקת הכספים רוצה תמונה אחת. צוות הצמיחה רוצה אחרת. צוות המוצר רוצה מדד חלופי שמגיע מהר יותר. הבעיה מתחילה כשההגדרות המקומיות יוצאות מההקשר שלהן והופכות להנחות ארגוניות.

ואז כולם אומרים ״הכנסות״, ובשקט מתכוונים לדברים שונים.

אותו דפוס מופיע בהמרה, במשתמשים פעילים, בנטישה, בעלות גיוס לקוח, בשימור ואפילו בספירת לקוחות. המסננים שונים. חלונות הזמן שונים. גבולות קבוצת הישויות הנמדדת שונים. הטיפול בהחזרים שונה. הסינון של תנועה פנימית שונה. ההבדלים הקטנים מצטברים לפגישות שמרגישות פוליטיות, אבל הבעיה בהן למעשה מבנית.

האלימות השקטה של מסננים לא עקביים

בעיות עקביות בדרך כלל אינן דרמטיות. הן שקטות.

דשבורד אחד מסנן החוצה הזמנות בדיקה. אחר לא.

אחד משתמש באזור הזמן המקומי. אחר משתמש ב־UTC.

אחד סופר רק רכישות שהושלמו. אחר כולל תשלומים שממתינים לאישור.

אחד מסנן לסשנים שיש להם ייחוס. אחר כולל את כל הסשנים.

בנפרד, כל הבדל כזה יכול להיראות קטן. ביחד, הם יוצרים סביבה יציבה לוויכוח אינסופי. כל צוות מקבל דשבורד שמאשר את תפיסת העולם שלו, כי כל דשבורד בנוי מיקום קצת אחר.

הגדרות מדדים צריכות להיות מוצרים, לא ידע שעובר מפה לאוזן

ארגונים רבים מתייחסים להגדרות של מדדים כחוב תיעוד. זה הפוך. הגדרה היא חלק מהמוצר האנליטי.

אם מדד מניע החלטות, ההגדרה שלו צריכה להיות מנוהלת בגרסאות, באחריות מוגדרת, בביקורת ובמקום שאפשר למצוא. לא מוסתרת במחברת של אנליסט אחד. לא נשמרת רק בזיכרון של האדם שבנה לפני שנתיים את האריח המקורי ב־Looker.

״מקור אמת אחד״ זאת סיסמה נחמדה, אבל היא פחות קסומה ממה שנדמה לאנשים. מחסן נתונים יכול לרכז את הדאטה, ובאותה הזדמנות לרכז גם את העמימות. האמת לא נובעת ממיקום האחסון. היא נובעת מהסכמה מפורשת.

איך אנליסטים בדרך כלל מפספסים את זה

הם מניחים שמונחים משותפים מעידים על לוגיקה משותפת.

ההנחה הזאת הרסנית בעבודה בין צוותים.

אנליסטים גם יורשים היגיון עסקי ישן בלי לבדוק אם הוא עדיין מתאים לאופן העבודה הנוכחי. מודל הכנסות שהיה הגיוני לפני שהיו מנויים, החזרים או פעילות בכמה מטבעות עלול להפוך בהמשך למטעה, ועדיין לשמור על הילת הסמכות שלו.

קשה במיוחד לזהות בעיות עקביות, כי כל דוח בפני עצמו יכול להיראות מלוטש ויציב. הסתירה מופיעה רק כשמשווים אותו לדוח אחר שנבנה תחת הנחות שונות.

חוזה מעשי להגדרת מדד

אם מדד חשוב, הגדירו אותו כמו משהו אמיתי.

מדד: הכנסות.

הגדרה עסקית: הערך נטו שנגבה מהזמנות שהושלמו, ללא מסים, משלוחים ועסקאות שהוחזר עבורן מלוא התשלום.

רמת פירוט: שורה אחת לכל הזמנה שהתשלום עבורה סולק.

טבלאות מקור: orders, payments, refunds.

תנאי הכללה: תשלומים שהושלמו וסולקו בתוך חלון הדיווח.

תנאי החרגה: הזמנות בדיקה, תשלומים שממתינים לאישור, הזמנות שבוטלו ורכישות פנימיות של עובדים.

אזור זמן: UTC באחסון, עם המרה לאזור הזמן העסקי בשכבת הדיווח.

אחראים: צוות אנליטיקה בכספים.

מדיניות שינויים: כל שינוי בהגדרה דורש הערת גרסה ואישור של בעלי העניין.

זאת לא בירוקרטיה לשם בירוקרטיה. זה המבנה המינימלי שצריך כדי להפסיק להתווכח בארגונים על מילים שהמשמעות שלהן מעולם לא הוסדרה.

מה בעיות עקביות שוברות מבחינה עסקית

מדדים לא עקביים מאטים החלטות, כי כל שיחת תכנון הופכת לתרגיל בהתאמת מספרים. מנהלים מפסיקים לסמוך על דשבורדים. צוותים מגינים על המספרים שלהם במקום לפתור את הבעיה העסקית. הביטחון עובר מהראיות אל המעמד הפוליטי של מי שמציג אותן.

החלק הגרוע ביותר הוא שכולם יכולים לפעול בתום לב, ובכל זאת המערכת ממשיכה לייצר עימותים.

נניח שהצוותים סוף־סוף מסכימים על ההגדרה. עדיין מחכה להם כשל מסוג אחר: המספר הנכון עלול להגיע מאוחר מדי מכדי לשנות משהו. זאת עדכניות.