הערכה ומדידה

המדריך יסייע לכם להגדיר מטרות, לדייק את קבלת ההחלטות, לשפר ביצועים ולהגיע לתוצאות. המדריך מציג מושגים, תהליכים, כלים ומגמות מחקריות בתחום ההערכה בעולם החברתי - חינוכי.

מדריך זה מבוסס על הרצאתה של ד”ר ליאורה פסקל. ליאורה עוסקת מזה כעשרים וחמש שנים במחקרי הערכה (במשרד החינוך, קרן אבי חי ישראל ועוד) ומתמחה בתכנון אסטרטגי ופיתוח מודלים להערכה ומדידה, תוך הובלת צוותי חשיבה רב-תחומיים. ליאורה בעלת תואר שלישי בחינוך יהודי מהאוניברסיטה העברית ותואר שני בהצטיינות בשיטות מחקר, מדידה והערכה מאוניברסיטת תל אביב. בוגרת בית הספר למנהיגות חינוכית, קרן מנדל. כיום ליאורה מנהלת בוטיק להערכה – Pascal Strategy & Evaluation המספק שירותי הערכה מגוונים לקרנות, עמותות וארגונים עסקיים. לצד עשייה זו, משמשת ליאורה כמרצה בקריה האקדמית אונו לתואר ראשון ושני בתחומים של שיטות הערכה ומדידה חברתית ויהדות ישראלית. ליצירת קשר עם ליאורה ניתן לפנות במייל: [email protected].

ערך: נדב בן-דהן

 

המדריך שלפניכם מחולק לשלושה חלקים: החלק הראשון מציג את מושגי היסוד הבסיסיים וסוגי ההערכה השונים, על מנת לאפשר לכם לצלול בנוחות אל תחום ההערכה. החלק השני מנגיש את הכלי המכונה “המודל הלוגי” – אשר הוא למעשה שולחן השרטוטים להגדרת תיאוריית השינוי של תכנית או פרויקט ומסייע לתכנון פעילות הערכה של פרויקט או ארגון. החלק השלישי מתאר את מקורות המידע האפשריים, הכלים השונים לאיסוף נתונים והדרכים השונות למדידה. קריאה מהנה!

חלק ראשון:
מושגי יסוד וסוגי הערכה

כיצד הערכה יכולה לתרום לי כארגון או יזם?

המטרה בביצוע הערכה בארגון הינה שיפור הפעילות ומיצוי ההישגים. הערכה היא למעשה תהליך שיטתי אשר במהלכו יבחנו דרכי הביצוע והשגת התוצאות. במילים אחרות, הערכה תסייע לכם לבדוק מה עובד ומה לא עובד בארגון או במיזם שלכם. קיום תהליכי הערכה בארגון תורם לשיפור התקשורת בתוך הארגון, לפיתוח חשיבה תוצאתית ולטיפוח תרבות של קבלת החלטות על בסיס נתונים. לפני כל ביצוע הערכה אתם נדרשים להבהיר לעצמכם מהי מטרת ביצוע ההערכה בארגונכם, מה אתם עתידים לעשות עם הממצאים, וכיצד אתם מתכננים להשתמש בנתונים. מדריך זה עוסק במחקר הערכה ולא מחקר אקדמי קלאסי, היות ומטרת המדריך היא להעניק לכם כלים לייעול ולשיפור הארגון. ההבדל בין המחקרים קריטי, שכן מחקר הערכה נוטה לסובייקטיביות ושואף לסייע בשיפור הארגון ואילו מחקר אקדמי קלאסי שואף לאובייקטיביות טהורה.

כיום, ארגונים ומוסדות רבים נוטים לחשוש ולהימנע מביצוע הערכה. ישנן סיבות רבות לכך, ביניהן: חשש מכישלון או מפרסום תוצאות לא רצויות ופגיעה במוניטין; מחשבה כי תהליך ההערכה יגזול זמן ומשאבים חשובים מהארגון; תפיסה הגורסת כי תחומים חברתיים וחינוכיים מורכבים יותר למדידה; או אמונה כי רק מומחים לנושא מסוגלים לבצע הערכה מקצועית.

עם זאת, ישנם נימוקים רבים אף יותר לכך שביצוע הערכה הוא כדאי וחשוב:

  • שימוש בנתונים לצורך תכנון וביצוע מיזמים בעתיד
  • צבירת ידע מקצועי (מה מתרחש באמת) בארגון
  • זיהוי בעיות בזמן אמת וביצוע שינוי בתוכנית הפעולה של פרויקט
  • צמצום הוצאה כספית מיותרת
  • שדרוג הקשרים בין חברי הצוות
  • פיתוח תמונת מצב עדכנית על פעילות הארגון
  • העלאת המורל הארגוני בעזרת שיקוף הצלחות והישגים ממשיים
  • שיפור יכולות גיוס המשאבים בארגון: על ידי הוכחת ביצועים לקרנות ותורמים*
  • השגת הכרה פוליטית או שיווקית

מה הן מטרות ההערכה?

קיימות מגוון מטרות פוטנציאליות לביצוע הערכה. לפני היציאה לדרך, חשוב להגדיר במדויק את מטרת התהליך: שיפור מיזם; יצירת ידע; שיפוט הפעילות; למידה ארגונית; תיעוד היסטורי; החלטה על המשך או הפסקת מיזם; בחירת חלופות; דיווח לגורמים שונים או אחריות קולקטיבית על הנעשה.

כיצד נתאים בין השלב בו נמצא המיזם לסוג ההערכה המתאים לו?

לכל שלב בו המיזם נמצא (לפני, במהלכו או בסופו) קיים סוג הערכה אשר מדגיש את ההיבטים הרלוונטיים לו:

  • הערכת צרכים – בעת תכנון המיזם נדרשת הבנה של צרכי קהל היעד, לצורך כך מתבצעת הערכה של צרכי הקהילה, המשתתפים או המנויים אליהם מכוון המיזם.
  • הערכה מעצבת (“תוך כדי תנועה”) – לאחר יציאת המיזם לדרך, מתבצעת הערכה במקביל לקיום הפעילות, זאת על מנת לבחון מה עובד בצורה טובה ומה דורש שינוי או שיפור. בכך “מעצבים” את המיזם תוך כדי תנועה. הערכה זו בדרך כלל מתמקדת בתהליכי העבודה של הפרויקט או המיזם.
  • הערכה התפתחותית – מתרחשת תוך כדי בניית המיזם ויצירתו. בשונה מהערכה מעצבת, ההערכה התפתחותית משפיעה כבר בשלבי התכנון של המיזם.
  • הערכה מסכמת – בתום המיזם מתבצעת בחינה של כלל התפוקות ו/או תוצאות הפעילות.

מהן המגמות העדכניות בהערכה?

  • עדיפות היישום, גם אם על חשבון הדיוק בהערכה – מתן דגש על פיתוח יכולת הארגונים לבצע תהליכי הערכה ומדידה בעצמם, גם אם הדברים באים על חשבון סטנדרטים מקצועיים של דיוק מתודולוגי.
  • חשיבות לעבודה צמודה עם ארגונים ושיתופם בתהליך – לצורך הערכה מיטבית יש לשתף את הארגונים עצמם בתהליך ההערכה. תפיסה זו באה במקום תפיסת העבר ששאפה להערכה חיצונית לארגון, הערכה “אובייקטיבית”. שיתוף הארגון בתהליך ההערכה כולל את כלל בעלי העניין במיזם: מנהלים, עובדים, מנחים, מדריכים, לקוחות, אורחים, תורמים וכדומה. כמו כן, השיתוף בא לידי ביטוי בכל שלבי ההערכה: החל מתכנון מטרות ההערכה ועד לניתוח והבנת הממצאים.
  • נטייה לשימוש ביועצי הערכה וגופים פרטיים – בעבר, במקרים רבים האקדמיה הייתה גוף הביצוע של מחקרי ההערכה, תוך התמקדות במחקר תיאורטי. כיום, אנשים וגופים פרטיים מציעים את שירותיהם כחוקרים וכיועצים לביצועי הערכה. בשונה ממחקר הערכה הנעשה באקדמיה, יועץ פרטי בדרך כלל עשוי להיות קרוב יותר אל השטח ואינו כפוף לאינטרסים של האקדמיה.

מה ההבדל בין הערכה חיצונית להערכה פנים ארגונית?

אם אתם רכזי הערכה בארגון או פשוט מעוניינים לבצע הערכה בארגונכם מומלץ לבדוק לפני תחילת התהליך מהי דרך העבודה העדיפה לכם – הערכה חיצונית (שתתבצע בעזרת איש מקצוע חיצוני) או פנים ארגונית (שתתבצע על ידי אדם מתוך הארגון או המיזם). כדי להגיע להחלטה יש להבין קודם כל שבסוגיה זו אין נכון ולא נכון. עליכם לשקלל את הקריטריונים השונים (בסעיף הבא) ולהכריע באפשרות העדיפה לכם. בכל מקרה, מומלץ לחשוב על אפשרות של שילוב בין הערכה פנימית לחיצונית – כך חלק מהשלבים יבוצעו ע”י מעריך חיצוני ושלבים אחרים יבוצעו באמצעות תהליך פנים ארגוני. בעזרת שילוב של הערכות שונות, ניתן ליהנות מהיתרונות ולהתגבר על החסרונות של כל שיטה. במקרה כזה חשוב לייצר דיאלוג פתוח בין המעריך הפנימי לבין המעריך החיצוני.

בכל מקרה, לפני ביצוע הערכה רצוי לבחון את המטרות שלכם אל מול הקריטריונים הבאים (בטבלה), על מנת לקבוע מהי ההערכה המתאימה לכם ביותר:

מהו הקשר בין הערכה ללמידה ארגונית?

מהות הקשר בין הערכה ללמידה ארגונית בארגון ספציפי נקבעת על ידי בחינת ההיררכיה בין ביצוע ההערכה ללמידה ארגונית באותו ארגון. הסתכלו בארבעת הריבועים בתמונה (למטה) ושאלו את עצמכם: איפה תחום ההערכה עומד ביחס לתחום הלמידה הארגונית בארגון שלכם – האם ההערכה היא מרכיב בתוך תהליך הלמידה הארגונית? או שהדבר הפוך, והלמידה הארגונית דווקא מכילה את מרכיב ההערכה? או שמא ההערכה והלמידה הארגונית פועלות בנפרד בתוך הארגון? במידה וישנה הפרדה, האם ישנה נקודת השקה ביניהם? הבנת טיב הקשר בין הערכה ללמידה ארגונית יסייע לכם להגדיר את מקומכם כמבצעי ההערכה ביחס לארגון או לעמותה שלכם. לאחר הבנת מיקומו של תחום ההערכה בתוך הארגון, ניתן יהיה להגדיר ולכוון את פעילות ההערכה בתוך התהליך הארגוני שלכם.

לסיכום החלק הראשון: הערכה צריכה להיות מתוכננת, שיטתית ומכוונת מטרה. כלומר, תהליך ההערכה אינו ספונטני וחייב לכלול תהליך מובנה ומוכוון יעדים. אין לבצע הערכה בארגון אם אתם לא יודעים להגדיר לשם מה אתם מבצעים אותה!

חלק שני:
“המודל הלוגי” – שולחן השרטוטים לתכנון והערכה של מיזם, פרויקט או תכנית

מהו המודל הלוגי? במה ולמי הוא מסייע?

תחום ההערכה מכיל סוגים שונים של הערכות: הערכת מיזמים, הערכת הישגים, הערכת עובדים, הערכת מבנים ארגוניים וכדומה. בחלק זה נעסוק בהערכת מיזמים בלבד (פרויקטים). מטרות ביצוע הערכה למיזם הן שיפור הביצועים, דיוק קבלת החלטות ויצירת ידע מקצועי. פעילות הערכת מיזמים כוללת איסוף המידע אודות הכוונות, הביצועים וההשפעות של המיזם. כאן נכנס תפקידו של הכלי המכונה המודל הלוגי, תפקידו לספר את “סיפור המיזם”. המודל הלוגי הינו למעשה מסמך “חי” (בר שינוי) המסייע בחשיבה הערכתית ותוצאתית בארגון ובאפשרותו לתרום לסוגים שונים של תהליכי הערכה. את המודל הלוגי יש לבחון מחדש אחת לכמה זמן ו/או ב”צמתים חשובים” במיזם, ובהתאם לבחינה המחודשת לבצע בו שינויים. השינויים יכולים להיות קטנים (לדוגמה, חידוד הניסוח של התוצאות) או גדולים (הוספת מרכיב חדש למודל או הורדת רכיב מסוים שאינו יעיל), הכל בהתאם לבחינה המחודשת שתעשו. בנוסף, חשוב לדעת שלעיתים עצם התהליך של פיתוח המודל עשוי לתרום לפעילות אף יותר מהמודל עצמו. את המודל הלוגי לא ניתן לבנות על ידי אדם יחיד, אלא הוא דורש השתתפות קבוצתית וארגונית. לכן, יש לערב את הצוות/הקבוצה/ בעלי עניין בפיתוחו ובכתיבתו.

חמשת מרכיבי המודל הלוגי

1. הגדרת מצב

הגדרת המצב כוללת שני מרכיבים: 1) הגדרת אוכלוסיית היעד של המיזם 2) הגדרת צרכיה של אוכלוסיית היעד במיזם. הפירוט להלן:

אוכלוסיית היעד – הכוונה לאוכלוסיית היעד המוגדרת אשר אליה מיועד השינוי. חיוני להגדיר את גבולותיה ומאפייניה הייחודיים של האוכלוסייה מראש, כלומר להגדיר על מי בדיוק תתבצע המדידה של מידת ההשפעה בסיום המיזם. דוגמה: מיזם בטיפות חלב בו האימהות מקבלות הדרכה לטיפול בילדים בגיל הרך. במקרה זה, האימהות הן אמנם המשתתפות הפעילות במיזם, אך אוכלוסיית היעד אליה מכוון השינוי היא דווקא קבוצת הילדים.

הצרכים של אוכלוסיית היעד – אבחון מוקדם של צרכי האוכלוסייה והשינוי המתבקש. כלומר, זיהוי הבעיות אשר המיזם מיועד לפתור. חשבו מהי הגדרת הבעיה שיש לפתור או למנוע, מהם החסרים שיש למלא ומהן היכולות אשר המיזם שואף לפתח. אי הגדרתם של צרכי האוכלוסייה אשר נמצאים במוקד המיזם יביא לחוסר ביכולת להערכת המיזם. לדוגמה: המיזם קשור בקושי של אימהות לטפל בילדיהם וכחלק מכך הקושי של טיפת חלב ללוות את האימהות. הצורך שהמיזם מבקש למלא הוא פיתוח יכולות טיפול האימהות בילדים (ולא הקושי של טיפת חלב).

2. תוצאות

התוצאות הן למעשה הרווחים והתועלת שאוכלוסיית היעד מיועדת להפיק מהמיזם. כאמור, מיזמים שונים עשויים להיות מכוונים להשגת תוצאות בתחומים מגוונים: ידע, עמדות, זהות, מיומנויות, הרגלים, התנהגות – בחירת התחום קשורה באופי הארגון או המיזם ומטרותיו. לדוגמה: המיזם בטיפת חלב בו אימהות עוברות הדרכה לגידול ילדים בגיל הרך, התוצאות והרווחים ייבחנו ביחס לאוכלוסיית היעד – הילדים (ביטחון עצמי, יכולת השתלבות וכד’).

הרחבה: במודל הלוגי יש לקחת בחשבון את מגוון התוצאות האפשריות. כלומר: תוצאות מתוכננות מול תוצאות לא מתוכננות, תוצאות חיוביות מול תוצאות שליליות. בנוסף, המודל הלוגי מכיל את רצף התוצאות של המיזם (רצף לוגי או כרונולוגי) הרצף מייצר את המדרג וההיררכיה של תוצאות המיזם. לדוגמה: במיזם של טיפת חלב, תוצאת הקניית הידע הינה התוצאה המיידית. התוצאה המיידית מובילה לשינוי בעמדות וזוהי כבר תוצאת הביניים, ותוצאת הביניים מובילה לשינוי בהתנהגות וזו התוצאה ארוכת הטווח, אשר מביאה לשיפור ניכר במצב המהווה את התוצאה הסופית. למעשה, לא ניתן למדוד או להעריך מבלי להגדיר את היררכיית התוצאות. במקרים רבים ארגונים ממהרים “לדלג” ישר לתוצאה ארוכת הטווח לפני שבודקים אם היה שינוי בתוצאת הביניים, וזו טעות. הגדרת ההיררכיה של התוצאות במיזם היא למעשה תיאוריית השינוי שלכם הלוגיקה של המודל. מומלץ לחדד מה הן הציפיות לתוצאות מהמיזם בחודש הראשון, בשנה הראשונה, בשנה השנייה וכדומה.

3. פעולות

אלו הפעילויות שיתבצעו לטובת יצירת השינוי שהמיזם מבקש לחולל. למעשה, אלו המנגנונים שאמורים לייצר את השינוי הרצוי: השתלמויות, סמינרים, סיורים, חלוקת עלונים, הדרכה, פרסום ברשתות חברתיות וכדומה. לדוגמה: במקרה של המיזם בטיפת חלב, פעילויות יכולות להיות: סדנאות לאימהות, משחקים לילדים, מפגשי הורים ותלמידים וכדומה. אלו המרכיבים הפעילים בתוך המיזם.

4. תפוקות

התפוקות הן התוצרים הישירים של הפעילויות במיזם (תפוקות נבדלות מתוצאות, ראו פירוט בהמשך). התפוקות משקפות את הנפח וההיקף של פעילות המיזם. התפוקות חייבות להיות מיוצגות במספרים וניתנות לכימות. דוגמה: במיזם של טיפת חלב לחשב את מספר העלונים שחולקו, מספר אוטובוסים שהושכרו, מספר שעות הוראה שנתנו, מספר מלווים שהשתתפו וכדומה.

5. תשומות

התשומות הן המשאבים האנושיים (צוות בשכר, מתנדבים), הכספיים והארגוניים (ציוד, מבנה) שאנחנו משקיעים על מנת להפעיל את המיזם. לרוב מתקיים קשר בין התשומות לתפוקות. התפוקות (התוצרים הישירים) צריכות הרבה פעמים להוות “תמונת מראה” של התשומות (המשאבים). תמונת המראה תשקף ותכלול לדוגמה את סך הפעילות הבא: התשומות יתמקדו במשאבים שנדרשים לצוות המוביל את המיזם, התפוקות יתמקדו בכמות הישיבות של הצוות המוביל והתוצאות יתמקדו במה שקרה בעקבות העבודה של הצוות. דוגמה: במיזם של טיפת חלב הוחלט על השקעת 1000 ₪ בדפי הדרכה – ההשקעה הכספית תהווה את התשומות עצמן. מדידת הכמות של דפי הדרכה שחולקו יהוו את התפוקות במיזם.

מהם ההבדלים בין המודל הפשוט, המודל המפורט והמודל המורכב?

למודל הלוגי קיימות כמה צורות מבניות וגרפיות אפשריות (ניתן לכתוב ב-Google “מודל לוגי” ולהיחשף לשלל האפשרויות), כאן נציג שלוש עיקריות מהן:

המודל הפשוט מורכב משלושה שלבים: הגדרת הפעילויות הנעשות במיזם, פירוט התוצאות המיידיות והתוצאות הסופיות.

 

המודל המפורט מורכב משבעה שלבים: הגדרת המצב הקיים (אוכלוסיית היעד וצרכיה), קביעת התשומות למיזם (כסף, כ”א, ציוד, מבנים), הגדרת אסטרטגית הפעולה (מה יתבצע בפועל לטובת יצירת השינוי), קביעת התפוקות (התוצרים הכמותיים שנגזרים מהפעילויות – חומרי הדרכה, אוטובוסים וכדומה), וקביעת היררכית התוצאות: תוצאות מיידיות – (בדרך כלל עד חצי שנה מסיום המיזם) – תוצאות ביניים (בדרך כלל בין שנה לשנתיים מסיום המיזם) – תוצאות סופיות (יכולות להימדד גם כשלוש שנים עד חמש שנים לאחר מועד תחילת המיזם). יש להדגיש כי התוצאות הסופיות צריכות להוות מענה לצרכים שהוגדרו בקרב אוכלוסיית היעד בעת תיאור המצב הקיים.

המודל המורכב מתחיל מתיאור המצב הקיים, ומאפשר לשקף בתוכו שלושה או ארבעה מודלים להשגת תאוריית השינוי. לכל מודל יכולות להיות הפעילויות שלו, התפוקות הייחודיות לו והתוצאות המיידיות שינבעו מהן, אולם כל אלה גם יחד צריכים להביא לתוצאה סופית אחת שתהווה מענה לצרכים שהוגדרו בשלב בחינת המצב הקיים.

למי המודל מיועד?

אם אתם עונים בחיוב לאחת מהשאלות הבאות, סימן שהמודל הלוגי רלוונטי לכם:

  • האם אתם נדרשים לתאר מדוע וכיצד המיזם שלכם פועל (לצורך גיוס משאבים או כדי לדווח לממונים עליכם)?
  • האם אתם צריכים להגדיר את התוצאות שאתם שואפים להשיג או שכבר השגתם במיזם שלכם (לדוגמה לצורך הסבר לקרן התורמת)?
  • האם אתם מנסים לגייס הסכמה בקרב בעלי עניין שונים (רשות מקומית, משרדי ממשלה, עמותות, הורים או קהלי יעד אחרים) ביחס למודל ההתערבות שלכם או לצורך מטרות אחרות?
  • האם אתם צריכים להסביר כיצד העשייה שלכם אמורה להביא לתוצאות שברצונכם להשיג?

מהם השלבים השונים בהם ניתן להשתמש במודל?

היתרון במודל הלוגי הוא היכולת להשתמש בו בשלבים שונים של המיזם.

  • בשלב החשיבה הראשונית על התוכנית לצורך גיבוש הסכמה בקרב בעלי עניין, בחינת ישימות וביצוע המיזם.
  • בשלב ההרצה של התוכנית או פיילוט לשם פיתוח ושיפור התוכנית.
  • בשלב ההפעלה השוטפת למען פיתוח מדדים להערכה ולבקרה.
  • בשלב הפצת התוכנית או המיזם לשם הצגת התוכנית לקהלים חדשים, יצירת שותפויות, פרסום או שיווק המיזם וכן פיתוח ידע מקצועי לתוכנית.

איך מתחילים ליצור מודל לוגי לארגון שלי?

שאלה שכיחה בקרב ארגונים היא באיזה שלב מתחילים לכתוב את המודל. התשובה היא שלמעשה כל ארגון יכול לקבוע מהי נקודת המוצא שלו (השלב) לכתיבת המודל. ארגון יכול לבחור להתחיל בהגדרת התוצאות הרצויות (בסגנון “Wishful thinking”), או להפך – בהגדרת המצב הקיים, או בכלל מניתוח התשומות הנתונות והפעילויות האפשריות מתוכן. בכל מקרה, בכל שלב בו תבחרו להתחיל, חשוב שטרם כתיבת המודל תעמוד מולכם ‘תמונת המצב’ המלאה. התמונה צריכה לכלול למעשה את כלל המידע האפשרי לצורך קבלת החלטות מושכלת. חשוב גם לקבל סיוע ומשוב כבר בעת פיתוח המודל מצוות המיזם, מחברי הוועד המנהל, מנציגים של גופים מממנים וכד’. יש להשקיע כבר בתחילת התהליך בכתיבת מספר טיוטות עד להגעה להסכמה רחבה על צורת המודל. לעיתים צריך להשקיע ולהתאמץ עד שמגיעים למודל שברור שהוא משקף את העבודה. זכרו: מודל לוגי הוא מסמך “חי” – כל עוד המיזם מתקיים ומתפתח דרושה נכונות שלכם לחזור לשולחן השרטוטים, לתקן, לשנות, לחדד, להוסיף, למחוק וכדומה.

 

חלק שלישי:
בין הערכה למדידה – איך ומה מודדים?

מה ההבדל בין מדידה להערכה?

כעת לאחר שהמודל הלוגי מוכן והוא משמש אתכם ככלי לתכנון, להמשגה, ליצירת שפה וחשיבה ארגונית, ניתן לצאת לדרך ולבצע מדידה והערכה. ראשית נגדיר ונבדיל ביניהם.

מדידה: ייחוס ערך כמותי לתופעות במציאות, באמצעות איסוף שיטתי של מידע בכלים המתאימים. המדידה היא נטולת שיפוט של טוב או רע ואיננה חוות דעת (חוות הדעת כלולה בתחום ההערכה). המדידה היא קריטריון אובייקטיבי ללא מתן ערך לתופעה. דוגמאות למדידה – מדד המחירים לצרכן המודד את השתנות המחירים במשק, או סטודנט המודד את שעות המלגה שהוא מבצע.

הערכה: שיפוט ומתן ערך לתופעות. בהערכה, השיפוט שלנו מתבצע אל מול נורמות וסטנדרטים בארגון, דעה של בעל סמכות, סקירת ספרות, יעדים שהוגדרו מראש, מיזם מתחרה או ציפיות מוקדמות. לעיתים, קיים ידע מקדים אשר עליו ניתן לבסס השערות או ציפיות, או שקיימות נורמות ארגוניות מובנות. עם זאת, לפעמים ישנו חוסר בידע ובנורמות. כל ארגון צריך תחילה להגדיר אילו נורמות וידע קיימים אצלו ובהתאם לכך לבנות את שיטת ההערכה שלו. לדוגמה – במיצ”ב שמתפרסם מדי שנה, כל בית ספר מקבל את גרף ההישגים שלו בהתאם לנורמה הארצית – זו הערכה. כך בתי הספר יכולים להעריך עצמם ביחס לנורמה.

דוגמה נוספת: להגיד שהטמפרטורה היא 35 מעלות – זו מדידה. אך השוואה לטמפרטורה שהייתה בשבוע שעבר וקביעה כי כעת חם יותר – זו הערכה.

איזה שאלות יש לשאול כדי להתחיל את התהליך?

כאשר מתחילים להעריך יש לשאול קודם כל מה חשוב לארגון? מה חשוב לבעלי העניין השונים בארגון? מהם צרכי המידע שלכם? למה אתם רוצה לעשות הערכה? שאלה חיונית נוספת הינה מהו העיתוי המתאים להערכה? ובכן, כאשר מתחלף מנהל/יו”ר/ועד מנהל זה לא הזמן להתחיל בביצוע הערכה בארגון. יש להמתין עד אשר בעלי התפקיד החדשים “יכנסו לעניינים” וירגישו בטוחים במקומם.

אז מתי כן כדאי להתחיל את תהליך ההערכה? כאשר רוצים לצאת עם פיילוט חדש, או כשחושבים שהתוכנית רצה כבר כמה שנים ויש לה הישגים יפים – אז נתחיל את תהליך ההערכה.

איך מחליטים אילו תפוקות או תוצאות למדוד?

לצורך החלטה על התפוקות או התוצאות אותן נמדוד, כדאי לחזור למודל הלוגי – אשר מכיל סעיפי תפוקות ותוצאות, ולהפיק ממנו רשימות נפרדות של תפוקות ותוצאות אותן נרצה למדוד. מטרת הרשימות היא להציג את התפוקות והתוצאות אותן אנו רוצים ויכולים למדוד. עם זאת, לא כל תוצאה ותפוקה ניתן או צריך למדוד ולהעריך.

מומלץ שתשאלו את עצמכם:

  • האם התוצאות שבחרנו קשורות בנושאים החשובים לכם?
  • האם ההערכה תסייע לשפר את התכנית ותאפשר לזהות נקודות חולשה?
  • האם למדידה או להערכה היכולת לשקף את מטרות התכנית או את הדרכים להשגתם?
  • האם המיזם ניתן למדידה או להערכה?
  • מהו התזמון הנכון לביצוע המדידה או ההערכה?
  • מהו התקציב הנתון לביצוע המדידה או ההערכה?
  • האם קיימים מדדים מוכחים בתחום לצורך בסיס השוואה?
  • האם המדידה או ההערכה מקובלת על בעלי העניין במיזם?

שימו לב שרשימת המדדים שאתם כותבים אינה ארוכה יתר על המידה, היות ורשימה ארוכה מדי תקשה על יכולת הבנת הממצאים.

מהם מקורות המידע וסוגי המידע האפשריים?

ניתן לאסוף נתונים על משתתפים, על פעילויות ועל תוצאות ולבצע הערכה אודותיהם, זאת ע”י שאלת השאלות הנכונות. ניתן לעשות זאת על פי החלוקה הבאה:

מהם הכלים לאיסוף נתונים?

כלים לאיסוף של מידע כמותי:

  • שאלונים: לכתיבת דוחות נתונים, לבדיקת עמידה ביעדי התוצאות, להסקת מסקנות על אוכלוסיית היעד, למעקב אחר שינויים לאורך זמן.
  • נתוני דוחות: לאפיון המשתתפים בתוכנית, למעקב אחרי נתונים “קשים”, לבחינת עמידה ביעדים תפעוליים.
  • תצפית: לבחינת יישום הפעילויות במיזם, לקבלת מידע על התנהגות בפועל (בניגוד לדיווח על התנהגות).

כלים לאיסוף של מידע איכותני:

  • קבוצות מיקוד: לבחינת עמדות, דעות או תהליכי עומק, לצורך בניית תשתית של שאלונים לסקר כמותי, למען בחינת רעיונות חדשים.
  • ראיונות: כנ”ל

*הבחירה בין ראיונות לקבוצת מיקוד, תלוי בגודל התוכנית, המשאבים שיש לכם וכדומה.

מומלץ לשלב בין אסטרטגיות לאיסוף נתונים ולא להשתמש רק באסטרטגיה אחת. שימו לב: לפני שאתם בוחרים את הכלים הנכונים לכם, יש לבצע את השלבים הבאים: לתכנן את התהליך, להשתמש במודל הלוגי, לבחור את נשוא המדידה והערכה, להסתכל על השאלות המנחות לגבי נתוני פעילות, משתתפים ותוצאות – ורק אז לבחור באיזה כלי נכון להשתמש ומתי.

בהצלחה!

נגישות
‎הפורום לחברה האזרחית‎