ניתוח רגישות ב-MCDA: בדקו אם הבחירה שלכם עומדת במבחן
12 דקות קריאה
ההגדרה של ניתוח שונות (ANOVA) היא דרך סטטיסטית לבדוק האם הבדלים בין ממוצעי קבוצות הם אמיתיים או רק רעש סטטיסטי. בניתוח רגישות של MCDA (ניתוח החלטות מרובה קריטריונים), אנו שואלים את אותה שאלה: אנו מבצעים מבחני מאמץ כדי לראות אם האופציה ה"מנצחת" שלכם נשארת כזו כאשר המשקולות וההנחות משתנות. מדריך זה מראה בדיוק אילו משתנים לשנות קודם, כיצד לקרוא היפוכים בדירוג, ואילו כללים להפעיל כאשר התוצאות אינן יציבות.
מהו ניתוח רגישות בניתוח החלטות מרובה קריטריונים (MCDA)?
ניתוח רגישות בניתוח החלטות מרובה קריטריונים הוא התהליך של שינוי קלטים (משקולות, ציונים, הנחות, אילוצים) כדי לראות האם האופציה המומלצת היא חסונה או שבירה. חסונה פירושה שהמנצח נשאר מנצח לאורך שינויים סבירים. שבירה פירושה ששינויים קטנים מניבים אופציה "טובה ביותר" אחרת.
אם אי פעם צפיתם במטריצת קבלת החלטות מניבה מנצח ברור ואז חשתם אי-נוחות כי זה "תלוי במשקולות", האינסטינקט שלכם נכון. בעבודה אמיתית של ניתוח החלטות, משקולות הן לעיתים רחוקות מדויקות. הן הערכות, פשרות מוסכמות או ייצוגים לאסטרטגיה. ניתוח רגישות הוא הדרך שלכם למנוע מגיליון אלקטרוני להפוך לתרמית ביטחון.
דרך מעשית להגדיר זאת היא: MCDA נותן לכם דירוג; רגישות אומרת לכם כמה אתם יכולים לסמוך על הדירוג הזה.
אם אתם רוצים את האנלוגיה הסטטיסטית: ANOVA שואלת האם הבדלים נצפים הם משמעותיים בהינתן השונות. באופן דומה, רגישות MCDA שואלת האם פער הניקוד הנצפה הוא משמעותי בהינתן אי-ודאות במשקולות ובשיפוטים. להגדרה הסטטיסטית הרשמית, ראו את הערך בוויקיפדיה על ניתוח שונות, שהוא רענון טוב לחשיבה של "אות מול רעש".
משפט אחד שאני משתמש בו עם צוותים: אם הבחירה המובילה שלכם משתנה כשאתם מזיזים משקולת ב-5%, אין לכם החלטה - יש לכם טיוטת העדפות.
כאשר צוותים זקוקים למבנה משותף לפני שהם מבצעים מבחני מאמץ, אני מפנה אותם ל-מסגרות החלטה: המדריך המלא מכיוון שהוא מבהיר מתי MCDA הוא הכלי הנכון לעומת תרשים זרימה פשוט יותר או שער מבוסס אילוץ יחיד.
אילו משתנים עליכם לשנות קודם?
אילו משתנים עליכם לשנות קודם מסתכם במינוף: שנו את הקלטים שהכי סביר שישנו את התוצאה במאמץ המינימלי. התחילו עם המשתנים שהם גם לא ודאיים וגם משפיעים.
אני מריץ זאת בשלושה שלבים.
שלב 1: משקולות על הקריטריונים (חשיבה בסגנון טורנדו)
חשיבה בסגנון טורנדו פירושה שאתם משנים קלט אחד בכל פעם בטווח סביר ורואים כמה התוצאה זזה. אתם לא צריכים תרשים מפואר כדי לקבל את התועלת, אך ההיגיון זהה לדיאגרמת טורנדו: קלטים עם התנודה הגדולה ביותר קודם.
בפועל, שנו את המשקולות הללו לפני כל דבר אחר:
משתנה לשינוי
מדוע הוא הופך דירוגים
איזה טווח הוא "סביר"
1-2 הקריטריונים בעלי המשקל הגבוה ביותר
הם שולטים בציון הכולל
+/- 10-20% שינוי יחסי, אלא אם לצוות שלכם יש ראיות חזקות יותר
כל משקולת "פוליטית" (מוסכמת)
היא לרוב הכי פחות יציבה לאורך זמן
טווח המבוסס על גבולות מקובלים על בעלי עניין
כל קריטריון עם הגדרה מעורפלת
אנשים מדרגים אותו בצורה לא עקבית
טווח המבוסס על פרשנויות חלופיות להגדרה
מבחן רגישות למשקולות הוא גם דרך מהירה להציף היגיון החלטה נסתר. אם המשקל של "זמן לשוק" לא יכול לרדת מתחת ל-0.25 בלי שבעל עניין יתקומם, זו לא משקולת. זה אילוץ שמתחזה להעדפה.
עבור צוותים שעדיין בוחרים את המבנה הנכון לקריטריונים ומשקולות, איך לבחור מסגרת החלטה לצוות שלכם עוזר להימנע ממצב הכשל הנפוץ שבו משתמשים ב-MCDA למרות שההחלטה היא באמת על אילוץ יחיד שאינו נתון למשא ומתן.
שלב 2: ציונים ומודלים של ניקוד (איפה שהשיפוט מתחבא)
אחרי המשקולות, שנו את הציונים. כאן זוחלים פנימה גורמי סיכון הניתנים לשינוי והנחות: הבטחות ספקים, שיעורי אימוץ, שיפורים בזמני מחזור, או הערכות "מורכבות הנדסית" שהן למעשה תחושות בטן.
שני מבחני ניקוד בעלי מינוף גבוה שאני משתמש בהם:
ראשית, עברו מסולם סודר של 1-5 להשוואה זוגית פשוטה עבור שתי האופציות המובילות בשלושת הקריטריונים המובילים. אם הדירוג משתנה, הסולם המספרי שלכם בטוח בעצמו מדי.
שנית, בדקו חלופות למודל הניקוד: ליניארי מול סף. דוגמה: אם סיכון ציות מעל רמה מסוימת אינו מקובל, ציון ליניארי הוא המודל הלא נכון. זה צריך להיות אילוץ קשיח.
שלב 3: אילוצים, השפעות מסדר שני וזמן
לבסוף, שנו את הדברים ש-MCDA לרוב מתעלם מהם: אילוצים והשפעות מסדר שני.
השפעות מסדר שני הן תוצאות שפוגעות מאוחר יותר: עומס תפעולי, נטל תחזוקה, סיכון מוניטין, עלויות מעבר או עלות אלטרנטיבית. לוחות MCDA הטובים ביותר עוקבים במפורש אחרי אלו כתוצאות עתידיות במקום לקבור אותם בתוך קריטריון "סיכון" יחיד.
אם אתם צריכים בדיקת שפיות חיצונית על שיטות אי-ודאות ורגישות, הסקירה של NIST על הערכת אי-ודאות היא מקור מוצק לחשיבה ברורה על מה אתם יודעים מול מה אתם מנחשים.
כיצד מפרשים היפוכים בדירוג ותיקו קרוב?
כיצד מפרשים היפוכים בדירוג ותיקו קרוב הוא הרגע שבו רוב הצוותים הופכים לקפדניים או מתחילים לנפנף בידיים. היפוך דירוג הוא לא אוטומטית "רע". זהו אות אבחנתי.
היפוכי דירוג: מה הם בדרך כלל אומרים
היפוך דירוג מעיד בדרך כלל על אחת מארבע מציאויות:
דפוס שאתם רואים
מה זה בדרך כלל אומר
מה לעשות הלאה
המנצח מתהפך כשמשקולת אחת זזה מעט
ההחלטה שלכם נשלטת על ידי קריטריון אחד והאופציות המובילות קרובות בו
בדקו מחדש את הגדרת הקריטריון והאם הוא באמת אילוץ
המנצח מתהפך רק תחת משקולות קיצוניות
הבחירה שלכם חסונה בתנאים מציאותיים
תעדו את טווח המשקולות המקובל והמשיכו הלאה
המנצח מתהפך כשמשנים הנחת ציון אחת
המודל שלכם תלוי בהערכה רעועה
המירו את ההערכה הזו לניתוח תרחישים עם תנאים מפורשים
הדירוגים מתערבבים לאורך שינויי קריטריונים רבים
האופציות דומות באמת או שהקריטריונים שלכם מיותרים
צמצמו חפיפת קריטריונים; הציגו שוברי שוויון או אילוצים
הנה השורה שאני שם במסמכי החלטה: היפוך דירוג הוא תזכורת להבהיר ערכים, לא תזכורת להריץ מחדש את הגיליון עד שתאהבו את התשובה.
תיקו קרוב: התייחסו אליהם כ"מחלקות החלטה", לא כמנצחים
אם שתי האופציות המובילות שלכם נבדלות במרווח זעיר, הפסיקו להעמיד פנים שהמודל יכול להפריד ביניהן. בניסיוני, תיקו קרוב נפוץ כאשר צוותים משתמשים ב-5-10 קריטריונים ומנרמלים ציונים.
כלל מעשי: אם שתי האופציות המובילות נמצאות בטווח של 1-3% מהציון הכולל (או בתוך המרווח שאתם חושבים ששגיאת הניקוד שלכם יכולה להיות), התייחסו אליהן כתיקו. לאחר מכן פתרו את התיקו עם היגיון תיאוריית החלטות מפורש: סובלנות לסיכון, הפיכות ואילוצים.
אם אתם רוצים אנלוגיה סטטיסטית שוב, זה דומה לשאלה האם ההבדל הנצפה גדול יותר מרצפת הרעש. זה אותו אינסטינקט מאחורי ההגדרה של ניתוח שונות.
ניקוד ביטחון (ללא דיוק מזויף)
במקום לטעון "אופציה א' היא הטובה ביותר", נצלו את הביטחון בנפרד. אני אוהב ציון ביטחון בעל שלושה חלקים:
איכות נתונים (נמדד, מוערך, מנוחש)
יציבות מודל (באיזו תדירות המנצח משתנה במבחני רגישות)
חומרת תוצאה (כמה גרוע זה לטעות)
שמרו על זה פשוט. הנקודה היא להימנע מוודאות שקרית, לא להמציא גיליון שני.
כאן גם שייך ניתוח תרחישים. ניתוח תרחישים טוב לא מכפיל תרחישים בשביל הכיף. הוא מגדיר 2-4 עתידים סבירים שישנו מהותית את ההחלטה, ואז בודק אילו אופציות שורדות.
אילו כללי החלטה עוזרים כאשר התוצאות אינן יציבות הוא ההבדל בין "הרצנו MCDA" לבין "קיבלנו החלטה". כאשר המודל רגיש, אתם צריכים כללים מחויבים מראש שמונעים רציונליזציה בדיעבד.
כלל 1: המירו דברים שאינם נתונים למשא ומתן לאילוצים
אם משהו באמת אינו נתון למשא ומתן, הפסיקו לשקלל אותו. הפכו אותו לשער.
דוגמאות שהשתמשתי בהן בהחלטות תפעול ומוצר אמיתיות:
דרישת ציות נענתה: כן/לא. אם לא, האופציה נפסלת.
עלות שוטפת חייבת להישאר מתחת לתקרה.
יישום חייב להתאים בתוך אילוץ כוח אדם.
זה מפחית מיידית את חוסר היציבות כי זה מסיר פשרות מזויפות. זה גם הופך את היגיון ההחלטה שלכם לניתן לביקורת.
כלל 2: השתמשו בסובלנות לסיכון במפורש (לא במשתמע)
כאשר התוצאות אינן יציבות, התשובה ה"נכונה" תלויה לעיתים קרובות בסובלנות לסיכון יותר מאשר במשקולות. לשתי אופציות יכול להיות ערך צפוי דומה אך חיסרון שונה מאוד.
גישה פשוטה: הגדירו חיסרון מקסימלי מקובל על התוצאה החמורה ביותר. אם אופציה מפרה אותו תחת כל תרחיש סביר, היא בחוץ.
כאן גם נכנסים לעיתים היתרונות והחסרונות של בינה מלאכותית להחלטות. בינה מלאכותית יכולה לשפר מהירות וכיסוי, אך היא יכולה גם להכניס סיכון מודל, תקורה ממשלית ומצבי כשל שקשה לזהות. אם בינה מלאכותית היא אחת האופציות שלכם, התייחסו לחיסרון שלה כתוצאה מהדרגה הראשונה, לא כהערת שוליים.
כלל 3: העדיפו החלטות הפיכות כאשר המודל רגיש
אם ניתוח רגישות אומר שהתוצאה שלכם שבירה, בחרו באופציה שהכי קל להפוך או לחזור עליה. זו לא פחדנות. זה ניתוח החלטות טוב.
אני לרוב מנסח זאת כ: "קנו מידע". בחרו בנתיב שמאפשר לכם ללמוד בזול, ואז הריצו מחדש את ה-MCDA עם נתונים טובים יותר.
כלל 4: הוסיפו קריטריון שובר שוויון שמשקף אסטרטגיה
כאשר האופציות המובילות בתיקו קרוב, הוסיפו קריטריון שובר שוויון אחד שמשקף את העמדה האסטרטגית שלכם. דוגמאות: זמן לערך, מינוף כישרונות, אמון לקוחות או פשטות תפעולית.
אל תוסיפו חמישה שוברי שוויון. הוסיפו אחד, הגדירו אותו היטב, ונקדו אותו עם ראיות.
אם אתם רוצים דרך נקייה להפעיל זאת בתוך לוח, הגישה של Lucid היא לשמור על היתרונות/חסרונות והתוצאות של כל אופציה עקביים בזמן שאתם משנים הנחות. כשאתם משנים משקולת או אילוץ, הלוח מתעדכן בלי שתכתבו מחדש ידנית כל הערה. זה ההבדל בין החלטה חיה לבין מסמך החלטה מעופש.
זרימת עבודה מעשית לניתוח רגישות ב-MCDA (ואיך Lucid הופכת את זה למהיר יותר)
אתם יכולים להריץ ניתוח רגישות בגיליון אלקטרוני. אתם יכולים גם לאבד יום בעשיית זאת ועדיין לא לסמוך על התוצאה כי הנרטיב והמספרים מתרחקים זה מזה.
הנה זרימת העבודה שאני ממליץ עליה כאשר ההחלטה בעלת סיכון גבוה והצוות נוטה לחשוב יותר מדי.
בנו את האופציות והקריטריונים שלכם, ואז כתבו את ההנחות בשפה פשוטה. אם אתם לא יכולים להסביר קריטריון במשפט אחד, הוא ייצור רעש ניקוד מאוחר יותר.
הריצו MCDA בסיסי ותעדו את שתי האופציות המובילות, פער הניקוד והמניעים העיקריים. זה הופך למצב ה"בקרה" שלכם.
בצעו רגישות משתנה יחיד תחילה: כווננו משקולת אחת בכל פעם לאורך טווח סביר וחפשו היפוכי דירוג. זהו שלב הטורנדו שלכם.
המירו את המניעים הכי לא ודאיים ל-2-4 תרחישים והריצו מחדש. ניתוח תרחישים הוא המקום שבו אתם בודקים השפעות מסדר שני, אילוצים ותוצאות מבוססות זמן.
החילו כללי החלטה כאשר מופיעה אי-יציבות: אילוצים, ספי סובלנות לסיכון, הפיכות וקריטריון שובר שוויון יחיד.
כשבנינו את Lucid, נשענו על המציאות שאנשים לא צריכים רק ציון. הם צריכים מפת אופציות עקבית שנשארת יציבה כשהקלטים משתנים. ב-Lucid, אתם יכולים לכתוב או להקליט דילמה מבולגנת, ליצור לוח אופציות, ואז להשוות נתיבים זה לצד זה בתצוגת רשת או טבלה תוך כוונון משקולות והנחות. היתרונות/חסרונות והתוצאות העתידיות מתעדכנים עם אותו היגיון בסיסי, כך שלא תסיימו עם "מספרים שאומרים א'" ו"הערות שטוענות ל-ב'".
מהם היתרונות והחסרונות של בינה מלאכותית בקבלת החלטות?
בינה מלאכותית יכולה להגדיל כיסוי (יותר אופציות, יותר תוצאות, פחות נקודות עיוורות) ולהאיץ ניתוח תרחישים, אך היא יכולה גם להוסיף סיכון מודל, הגברת הטיות וביטחון יתר אם אתם מתייחסים לפלטים כאמת במקום כהשערות. השתמשו בבינה מלאכותית כדי ליצור ולעדכן מבנה, ואז תאמתו עם אילוצים, ראיות ומבחני רגישות.
מהם 5 היתרונות ו-5 החסרונות של בינה מלאכותית?
יתרונות כוללים לרוב מהירות, זיהוי דפוסים, יכולת הרחבה, עקביות ותמיכה בסימולציה. חסרונות כוללים לרוב הזיות, הטיות, תקורה ממשלית, סיכון פרטיות ושבירות כאשר ההקשר משתנה. עבור MCDA, המפתח הוא האם בינה מלאכותית עוזרת לכם לשמור על הנחות מפורשות וניתנות לבדיקה.
איך ניתוח תרחישים שונה מניתוח רגישות ב-MCDA?
ניתוח רגישות משנה קלט אחד (כמו משקולת) כדי לראות איך דירוגים זזים; ניתוח תרחישים משנה חבילת הנחות יחד כדי לייצג מצב עתידי סביר. בפועל, אתם משתמשים ברגישות כדי למצוא את המנופים, ואז בניתוח תרחישים כדי לבדוק את ההחלטה תחת שילובים מציאותיים.
מה גורם להיפוך דירוג בניתוח החלטות מרובה קריטריונים?
היפוך דירוג קורה בדרך כלל כשהאופציות המובילות קרובות וההחלטה נשלטת על ידי קריטריון אחד או שניים לא ודאיים, או כשהמודל של הניקוד מוגדר לא נכון (משקולות ליניאריות המשמשות לאילוצי סף). זה יכול לקרות גם כשאתם מוסיפים או מסירים אופציות, תלוי בשיטת ה-MCDA שבה אתם משתמשים.
הצעד הבא: הוכיחו שה"מנצח" שלכם באמת חסון
התחילו בלקיחת שתי האופציות המובילות שלכם והרצת מבחן טווח משקולות פשוט על שלושת הקריטריונים המובילים. אם המנצח מתהפך, הפסיקו להתווכח וכתבו את כללי ההחלטה שתשתמשו בהם (אילוצים, סובלנות לסיכון, הפיכות), ואז הריצו מחדש עם הכללים הללו מיושמים.
אם אתם רוצים לעשות זאת בלי לשבור את נרטיב ההחלטה שלכם בכל פעם שהנחות משתנות, הקימו לוח אופציות חי ב-Lucid ובצעו לו מבחן מאמץ בתצוגות רשת וטבלה בזמן שאתם מכווננים משקולות ותרחישים: צרו את חשבון ה-Lucid שלכם.
ניתוח רגישות ב-MCDA: בדקו אם הבחירה שלכם עומדת במבחן | Lucid
