ניתוח מערכות מתחיל בשאלות, לא בגיליון אלקטרוני. שאלות ניתוח הן ההבדל בין "ממצאים מעניינים" לבין החלטה שניתן לקבל בביטחון. מדריך זה מראה כיצד לנסח שאלות ניתוח שמחייבות בהירות: הצהרת בעיה ממוקדת, מדדי הצלחה מדידים, השערות הניתנות לבדיקה, קריטריונים להחלטה ותוצרים שמשנים את הצעדים הבאים שלכם.
מה הופך שאלות ניתוח ל"טובות" (ומדוע רובן נכשלות)
שאלות ניתוח הן טובות כאשר הן מגבילות את העבודה מספיק כדי להוביל להחלטה. שאלות גרועות יוצרות מערבולת מחקרית: עוד תרשימים, עוד הסתייגויות, ועדיין ללא פעולה.
זהו דפוס הכישלון שאני רואה ברוב הצוותים: מישהו שואל "מה קורה עם נטישת לקוחות?" והאנליסט מגיש מצגת של 30 שקפים. כולם מהנהנים. שום דבר לא משתנה. שבוע לאחר מכן, אותה שאלה חוזרת עם מספרים שונים.
שאלה ניתוחית טובה עושה שלושה דברים:
מגדירה את ההחלטה שהיא משרתת. אם התשובה לא יכולה לשנות בחירה, זו לא שאלת ניתוח, זו סקרנות.
מציינת מה המשמעות של "טוב יותר". זהו מדד עם כיוון וסף.
מגבילה את ההיקף בכוונה. חלון זמן, פלח שוק, מקורות נתונים, ומה לא תנתחו.
כשאתם כותבים שאלות ניתוח בדרך זו, ניתוח המערכות שלכם הופך לכלי קבלת החלטות, לא לטקס דיווח.
אם אתם רוצים מבנה מוכן לצוות לבחירה ותיקון של שאלות אלו, התחילו עם מסגרות קבלת החלטות: המדריך המלא, כיוון שהוא מעניק לכם את אוצר המילים (קריטריונים, פשרות, ספים) ששאלות ניתוח צריכות כדי להיות שימושיות.
התחילו עם הצהרת בעיה ממוקדת החלטה (לא נושא)
הצהרת בעיה ממוקדת החלטה הופכת נושא מעורפל לניתוח החלטה מוגדר. הדרך הקלה ביותר לדעת אם הצהרת הבעיה שלכם חלשה היא פשוטה: אם שני בעלי עניין יכולים לקרוא אותה ולהציע "צעדים הבאים" שונים, היא לא ממוקדת החלטה.
השתמשו בתבנית זו:
הצהרת בעיה = החלטה + הקשר + אילוץ + בעלים
דוגמה (חלשה): "אנחנו צריכים להבין למה ההפעלה (Activation) ירדה."
דוגמה (ממוקדת החלטה): "להחליט האם להשיק את תהליך ההרשמה החדש בספרינט הבא, בהינתן שההפעלה ירדה ב-6% משבוע לשבוע עבור הרשמות עצמאיות חדשות בצפון אמריקה, ללא קיבולת הנדסית לעיצוב מחדש מלא."
הגרסה השנייה אומרת לכם מה הניתוח חייב לתמוך בו. היא גם מונעת מלכודת נפוצה: ניתוח של הכל כי אף אחד לא כתב איך נראה "סיום".
כלל מעשי: אם אתם לא יכולים לכתוב את ההחלטה כפועל, אתם לא מוכנים לנתח. לאשר, להשהות, להפוך, לתעדף, להשקיע, לגייס, לאחד, להרחיב.
הגדירו מדדים שבאמת מכריעים את השאלה
מדדים שימושיים רק כאשר הם קשורים לסף החלטה. אחרת, תקבלו ויכוח אינסופי על האם שינוי הוא "טוב מספיק".
כאן צוותים מחבלים בטעות בניתוח של עצמם. הם בוחרים מדד (נניח, שיעור המרה), אך לעולם לא מגדירים איזה שיעור המרה יצדיק החלטה. לכן הפגישה הופכת לתיאטרון פרשני.
כתבו את המדדים שלכם כך:
אלמנט
מה לכתוב
דוגמה
מדד ראשי
התוצאה היחידה שההחלטה ממטבת
שיעור הפעלה (יצירת חשבון -> פעולה מרכזית ראשונה תוך 24 שעות)
כיוון
עלייה/ירידה או מזעור/מיקסום
עלייה
סף
נקודת החיתוך שמפעילה את ההחלטה
להשיק אם ההפעלה בטווח של 1% מהביקורת או גבוהה יותר
חלון זמן
מתי מודדים זאת
7 הימים הראשונים לאחר החשיפה
מדד הגנה
מה אסור שיחמיר
כרטיסי תמיכה למשתמש חדש לא יעלו ביותר מ-10%
שורת ה"סף" הזו היא המקום שבו רוב שאלות הניתוח הופכות לאמיתיות. היא כופה היגיון החלטה: אם X קורה, אנחנו עושים Y.
כשאתם צריכים לבצע בדיקת שפיות להגדרות מדדים (במיוחד עבור ניסויים), ההנחיות של גוגל בנושא תכנון ניסויים ומובהקות סטטיסטית הן בסיס איתן להימנעות מביטחון כוזב.
הפכו שאלות ניתוח להשערות הניתנות לבדיקה
השערה היא תחזית עם מנגנון. בלעדיה, הניתוח שלכם הופך לציד אוצרות בלוחות מחוונים.
דפוס חזק לשאלות ניתוח הוא:
"אם נעשה X עבור פלח Y, מדד Z ישתנה ב-A בגלל B."
דוגמה: "אם נסיר את שדה הטלפון החובה להרשמות עצמאיות, ההפעלה תעלה ב-3-5% כי פחות משתמשים נוטשים את הטופס."
כעת ניתן לכתוב את שאלת הניתוח שלכם בצורה שניתן לענות עליה:
"האם הסרת שדה הטלפון החובה מעלה את ההפעלה ב-3% לפחות עבור הרשמות עצמאיות, מבלי להעלות את שיעור ההונאה מעבר ל-0.2%?"
זה לא רק מדיד. זה ניתן להפרכה. אתם יכולים לטעות מהר, וזה יתרון.
אם בעלי העניין שלכם ממשיכים לבקש "עוד ניתוח", זה לרוב כי אף אחד לא התחייב להשערה. הם מנסים להוציא את השיפוט למיקור חוץ לנתונים. נתונים לא יכולים לעשות זאת.
בנו קריטריונים להחלטה לפני שאתם פותחים את מאגר הנתונים
קריטריונים להחלטה הם הכללים שהופכים ראיות לפעולה. כאן ניתוח מערכות מתחבר למסגרת קבלת החלטות במקום לחיות כפריט אנליטי.
אני אוהב קריטריונים שמתאימים למסך אחד וניתנים לשימוש חוזר. עבור החלטות מוצר ותפעול, בדרך כלל צריך שילוב של תוצאה, סיכון, מאמץ והפיכות. אם אתם רוצים דרך ידידותית לצוות לתקנן זאת, איך לבחור מסגרת קבלת החלטות לצוות שלכם משתלב היטב עם עבודת ניתוח כי הוא מכריח אתכם להתיישר על מה המשמעות של "טוב" לפני שאתם מתווכחים על מספרים.
הנה טבלת קריטריונים להחלטה קומפקטית שניתן להעתיק לכל מסמך:
קריטריון
איך מנקדים אותו
איך נראה "מעבר"
השפעה
שינוי צפוי במדד הראשי
עומד בסף שהוגדר קודם
ביטחון
איכות נתונים + גודל מדגם + עקביות
אין פערי אינסטרומנטציה משמעותיים; תוצאות יציבות לאורך שבועות
סיכון
גודל החיסרון והסבירות
מדדי הגנה בתוך הגבולות
מאמץ
עלות הנדסית או תפעולית
מתאים בתוך הקיבולת המחויבת
הפיכות
עלות לביטול אם טועים
ניתן לשחזור תוך יום אחד
זהו גם המקום שבו ניתוח החלטות מרובה קריטריונים הופך למעשי ולא אקדמי. אתם שוקלים במפורש פשרות במקום להעמיד פנים שמדד אחד שולט בהכל.
עבור הגדרות וטרמינולוגיה רשמיות, הסקירה של ויקיפדיה על ניתוח החלטות מרובה קריטריונים היא התייחסות הגונה, אך הניצחון הוא תפעולי: קריטריונים שנכתבו מראש מונעים מבעלי עניין להזיז את השערים לאחר הגעת התוצאות.
השתמשו במטריצת קבלת החלטות כדי להשוות אפשרויות זו לצד זו
מטריצת קבלת החלטות היא הדרך שלכם למנוע מהקול הכי חזק "לנצח" בפגישה. היא הופכת פשרות לגלויות.
זהו הרגע שבו שאלות ניתוח משתלמות: כל אפשרות מוערכת מול אותם קריטריונים, תוך שימוש באותם מדדים וספים.
הנה דוגמה למטריצת החלטות שניתן להתאים:
אפשרות
השפעה על מדד ראשי
סיכון (מדדי הגנה)
מאמץ
הפיכות
היגיון החלטה
השקת הרשמה חדשה
+2% עד +6% צפוי
בינוני (עומס תמיכה)
בינוני
גבוה
להשיק אם הפעלה ≥ סף ומדדי הגנה עוברים
איטרציה של ספרינט נוסף
+4% עד +8% צפוי
נמוך
גבוה
בינוני
לבחור אם יתרון ההשפעה מצדיק את עלות העיכוב
חזרה לתהליך הישן
בסיס
נמוך
נמוך
גבוה
לבחור אם מדדי הגנה נכשלים או ביטחון נמוך
טבלה זו מכריחה את השיחה להתרחק מ"אני מרגיש ש..." ולעבר "איזה קריטריון אתה מאתגר?". זהו ויכוח בריא יותר.
אם אתם רוצים לעשות זאת מהר יותר ולשמור על עקביות כשההקשר משתנה, Lucid הופכת קלטים מבולגנים ללוח אפשרויות עם יתרונות, חסרונות ותוצאות, ואז מאפשרת לכם להשוות בתצוגת רשת, טבלה או מיקוד. כאשר צוותים משתמשים בה היטב, היא הופכת לתיעוד החלטות חי במקום למסמך מיושן. אתם יכולים להתחיל לוח חדש תוך דקות מדף ההרשמה של Lucid.
הוסיפו ניתוח תרחישים כדי שלא תופתעו מאוחר יותר
ניתוח תרחישים שואל: מה משתנה אם העולם משתנה? זהו הנוגדן להחלטות שנראות טוב במקרה הבסיס אך נכשלות במציאות.
רוב הצוותים מנתחים רק את המקרה ה"סביר ביותר". כך מגיעים לתוכניות שקורסות ברגע שאילוץ משתנה (קיצוצי תקציב, מהלך של מתחרה, תקלה בצינור נתונים, שינוי רגולטורי).
מבנה ניתוח תרחישים קל משקל:
תרחיש
מה משתנה
מה מודדים
מה תעשו
מקרה בסיס
הנחות מתקיימות
מדד ראשי + מדדי הגנה
להמשיך אם ספים עוברים
מקרה חיסרון
ביקוש יורד או עלויות עולות
כלכלת יחידה, נטישה, שריפת מזומנים
להשהות, לצמצם היקף, או להחליף אפשרות
מקרה יתרון
אימוץ מזנק
קיבולת, שיהוי, נפח תמיכה
להאיץ, לגייס, להשקיע
כאן צוותים תופסים השלכות מסדר שני, לא רק רווחים מסדר ראשון. אם אי פעם השקתם "ניצחון המרה" שגרם מאוחר יותר לעלויות תמיכה להתפוצץ, אתם כבר יודעים למה זה משנה.
כשאתם מתעדים הנחות תרחיש, כדאי לבסס אותן על קווי בסיס אמיתיים. עבור מדדי ביצועים נפוצים של מוצר ודפוסי שימור, מקורות כמו Harvard Business Review מספקים לעיתים קרובות מסגור שימושי, גם אם עדיין צריך לאמת עם נתוני הקוהורט שלכם.
8 שאלות הניתוח שאני משתמש בהן שוב ושוב בסקירות החלטות אמיתיות
אלו שאלות הניתוח שאני חוזר אליהן כי הן מייצרות בעקביות פעולה, לא רק תובנה. שימו לב איך כל אחת מרמזת על היגיון החלטה ותוכנית מדידה.
איזו החלטה אנחנו מקבלים, ומתי? אם אין דד-ליין, הניתוח מתרחב כדי למלא את החלל.
מה יגרום לנו לבחור באפשרות א' על פני אפשרות ב'? זה מציף קריטריונים נסתרים מהר.
איזה מדד מכריע זאת, ואיזה סף מפעיל פעולה? אם אתם לא יכולים לכתוב את הסף, אין לכם עדיין החלטה.
איזה פלח שוק הכי חשוב, ולמה? תוצאות מצטברות לרוב מסתירות את האמת.
מהו הטיעון הנגדי? בהשוואה למה: שבוע שעבר, קבוצת ביקורת, קוהורט לפני שינוי?
מהי הדרך הגדולה ביותר שבה אנחנו יכולים לטעות? זה מניע בדיקות אינסטרומנטציה ובקרת הטיות.
מהן ההשלכות הבלתי הפיכות? זהו מבחן "הדלת החד-כיוונית".
מה נעשה הלאה אם התוצאות אינן חד-משמעיות? התחייבו מראש כדי שלא תחזרו על הניתוח ללא סוף.
אם אתם בונים הרגל צוותי משותף סביב אלו, צמדו אותם למסגרת קבלת החלטות עקבית. המטרה היא לא יותר ניתוח. המטרה היא פחות לולאות.
שאלות נפוצות
מהן דוגמאות לאינדיקטורים לסיכון בניתוח?
אינדיקטורים לסיכון הם אותות מדידים לכך שהחלטה עלולה ליצור חיסרון, כמו שיעור החזרים, כרטיסי תמיכה למשתמש, שיעור הונאה או שיהוי. הם עובדים הכי טוב כמדדי הגנה עם ספים מפורשים שיכולים להטיל וטו על תוצאה חיובית אחרת.
מהם היתרונות בשימוש במטריצת תלות (Reliance Matrix)?
מטריצת תלות מבהירה תלויות: על אילו צוותים, מערכות או ספקים האפשרות שלכם מסתמכת כדי להצליח. היא מפחיתה הפתעות על ידי הפיכת אילוצים נסתרים לגלויים לפני שאתם מקצים משאבים.
מהם היתרונות והחסרונות של בינה מלאכותית בעבודת ניתוח?
בינה מלאכותית מצוינת למבנה קלטים מבולגנים, יצירת השערות מועמדות וסיכום פשרות במהירות. החיסרון הוא ביטחון כוזב: בינה מלאכותית יכולה להציע נרטיבים נקיים מנתונים פגומים, לכן אתם עדיין צריכים בדיקות אינסטרומנטציה, ספים ושיפוט אנושי.
מהם 5 מדדי הביצועים המרכזיים (KPIs) שעלי להשתמש בהם?
אין סט אוניברסלי של חמישה, אך רוב ההחלטות צריכות מדד תוצאה ראשי אחד פלוס קבוצה קטנה של מדדי הגנה (איכות, עלות, סיכון וזמן). בחרו KPIs שממופים ישירות לקריטריוני ההחלטה, לא למה שלוח המחוונים שלכם במקרה עוקב אחריו.
הצעד הבא: הפכו את בקשת הניתוח הבאה שלכם להחלטה תוך 10 דקות
קחו את בקשת הניתוח האחרונה שקיבלתם (או שלחתם). נסחו אותה מחדש למשפט אחד שכולל: פועל ההחלטה, המדד הראשי והסף. לאחר מכן טיוטת מטריצת החלטות של מסך אחד עם 2-3 אפשרויות ו-4-5 קריטריונים.
אם אתם רוצים לנוע מהר יותר, זרקו את ההערות המבולגנות שלכם ל-Lucid ותנו לה לייצר מפת אפשרויות עם יתרונות, חסרונות ותוצאות, ואז השוו מסלולים בתצוגת לוח מובנית. הפגישה הבאה שלכם צריכה להסתיים בהחלטה, לא במצגת.
