הערכת תוכנית לימודים וסגל היא קריטית לכל המוסדות להשכלה גבוהה, כולל בתי ספר לרפואה. הערכות סטודנטים של הוראה (SET) לובשות בדרך כלל צורה של שאלונים אנונימיים, ולמרות שבמקור פותחו כדי להעריך קורסים ותוכניות, עם הזמן הן שימשו גם למדידת יעילות ההוראה ובהמשך לקבלת החלטות חשובות הקשורות להוראה. פיתוח מקצועי של מורים. עם זאת, גורמים והטיות מסוימים עשויים להשפיע על ציוני SET ולא ניתן למדוד את יעילות ההוראה באופן אובייקטיבי. למרות שהספרות על הערכת קורסים וסגל בהשכלה גבוהה בכלל מבוססת היטב, ישנן חששות לגבי שימוש באותם כלים להערכת קורסים וסגל בתוכניות רפואיות. בפרט, SET בהשכלה גבוהה בכלל לא ניתן ליישם ישירות על עיצוב ויישום תוכניות לימודים בבתי ספר לרפואה. סקירה זו מספקת סקירה כללית של האופן שבו ניתן לשפר SET ברמות הכלי, הניהול והפרשנות. בנוסף, מאמר זה מציין כי באמצעות שיטות שונות כגון ביקורת עמיתים, קבוצות מיקוד והערכה עצמית לאיסוף וטריאנגולציה של נתונים ממקורות מרובים, כולל סטודנטים, עמיתים, מנהלי תוכניות ומודעות עצמית, ניתן לבנות מערכת הערכה מקיפה. למדוד ביעילות את יעילות ההוראה, לתמוך בפיתוח המקצועי של מחנכים רפואיים ולשפר את איכות ההוראה בחינוך הרפואי.
הערכת קורסים ותוכניות היא תהליך בקרת איכות פנימי בכל המוסדות להשכלה גבוהה, כולל בתי ספר לרפואה. הערכת ההוראה על ידי סטודנטים (SET) לובשת בדרך כלל צורה של נייר אנונימי או שאלון מקוון המשתמש בסולם דירוג כגון סולם ליקרט (בדרך כלל חמש, שבע ומעלה) המאפשר לאנשים לציין את הסכמתם או מידת ההסכמה שלהם. איני מסכים עם הצהרות ספציפיות) [1,2,3]. למרות ש-SETs פותחו במקור כדי להעריך קורסים ותוכניות, עם הזמן הם שימשו גם למדידת יעילות ההוראה [4, 5, 6]. יעילות ההוראה נחשבת חשובה משום שמניחים שקיים קשר חיובי בין יעילות ההוראה ללמידת הסטודנטים [7]. למרות שהספרות אינה מגדירה בבירור את יעילות ההכשרה, היא בדרך כלל מוגדרת באמצעות מאפיינים ספציפיים של הכשרה, כגון "אינטראקציה קבוצתית", "הכנה וארגון", "משוב לסטודנטים" [8].
מידע המתקבל מ-SET יכול לספק מידע שימושי, כגון האם יש צורך להתאים את חומרי ההוראה או את שיטות ההוראה המשמשות בקורס מסוים. SET משמש גם לקבלת החלטות חשובות הקשורות לפיתוח מקצועי של מורים [4,5,6]. עם זאת, התאמתה של גישה זו מוטלת בספק כאשר מוסדות להשכלה גבוהה מקבלים החלטות בנוגע לסגל, כגון קידום לדרגות אקדמיות גבוהות יותר (הקשורות לעיתים קרובות לוותק ולעליות שכר) ותפקידים אדמיניסטרטיביים מרכזיים בתוך המוסד [4, 9]. בנוסף, מוסדות דורשים לעתים קרובות מסגל חדש לכלול SETs ממוסדות קודמים בבקשותיהם לתפקידים חדשים, ובכך להשפיע לא רק על קידומי סגל בתוך המוסד, אלא גם על מעסיקים פוטנציאליים חדשים [10].
למרות שהספרות על תוכניות לימודים והערכת מורים מבוססת היטב בתחום ההשכלה הגבוהה הכללית, זה לא המקרה בתחום הרפואה והבריאות [11]. תוכנית הלימודים והצרכים של מחנכים רפואיים שונים מאלה של ההשכלה הגבוהה הכללית. לדוגמה, למידה בצוות משמשת לעתים קרובות בקורסי חינוך רפואי משולבים. משמעות הדבר היא שתוכנית הלימודים של בית הספר לרפואה מורכבת מסדרה של קורסים הנלמדים על ידי מספר חברי סגל בעלי הכשרה וניסיון בתחומים רפואיים שונים. למרות שסטודנטים נהנים מהידע המעמיק של מומחים בתחום במסגרת מבנה זה, הם מתמודדים לעתים קרובות עם אתגר ההסתגלות לסגנונות ההוראה השונים של כל מורה [1, 12, 13, 14].
למרות שישנם הבדלים בין השכלה גבוהה כללית לחינוך רפואי, שיטת SET המשמשת בראשונה משמשת לעיתים גם בקורסי רפואה ובריאות. עם זאת, יישום שיטת SET בהשכלה גבוהה כללית מציב אתגרים רבים מבחינת תוכנית הלימודים והערכת סגל בתוכניות מקצועיות בתחום הבריאות [11]. בפרט, עקב הבדלים בשיטות הוראה ובכישורי מורים, תוצאות הערכת הקורסים עשויות שלא לכלול את חוות דעת הסטודנטים על כל המורים או הכיתות. מחקר של אויטנהאגה ואוניל (2015) [5] מצביע על כך שבקשת סטודנטים לדרג את כל המורים בסוף קורס עשויה להיות בלתי הולמת מכיוון שכמעט בלתי אפשרי לסטודנטים לזכור ולהגיב על קטגוריות מרובות של דירוגי מורים. בנוסף, מורים רבים לחינוך רפואי הם גם רופאים שעבורם הוראה היא רק חלק קטן מאחריותם [15, 16]. מכיוון שהם מעורבים בעיקר בטיפול בחולים, ובמקרים רבים במחקר, לעתים קרובות יש להם מעט זמן לפתח את כישורי ההוראה שלהם. עם זאת, רופאים כמורים צריכים לקבל זמן, תמיכה ומשוב בונה מהארגונים שלהם [16].
סטודנטים לרפואה נוטים להיות אנשים בעלי מוטיבציה גבוהה וחרוצים, אשר מתקבלים בהצלחה לבית ספר לרפואה (באמצעות תהליך תחרותי ותובעני בינלאומי). בנוסף, במהלך לימודי הרפואה, סטודנטים לרפואה צפויים לרכוש כמות גדולה של ידע ולפתח מספר רב של מיומנויות בפרק זמן קצר, כמו גם להצליח בהערכות פנימיות ומקיפות מורכבות לאומיות [17,18,19,20]. לפיכך, בשל הסטנדרטים הגבוהים הצפויים מסטודנטים לרפואה, סטודנטים לרפואה עשויים להיות ביקורתיים יותר ובעלי ציפיות גבוהות יותר להוראה איכותית בהשוואה לסטודנטים בתחומים אחרים. לפיכך, סטודנטים לרפואה עשויים לקבל דירוגים נמוכים יותר מהפרופסורים שלהם בהשוואה לסטודנטים בתחומים אחרים מהסיבות שהוזכרו לעיל. מעניין לציין, שמחקרים קודמים הראו קשר חיובי בין מוטיבציית סטודנטים להערכות מורים אישיות [21]. בנוסף, במהלך 20 השנים האחרונות, רוב תוכניות הלימודים של בתי הספר לרפואה ברחבי העולם הפכו לשילוב אנכי [22], כך שהסטודנטים נחשפים לפרקטיקה קלינית מהשנים הראשונות של התוכנית שלהם. לפיכך, במהלך השנים האחרונות, רופאים הפכו מעורבים יותר ויותר בחינוך סטודנטים לרפואה, ותמכו, אפילו בשלב מוקדם של תוכניותיהם, בחשיבות פיתוח תוכניות SET המותאמות לאוכלוסיות ספציפיות של סגל [22].
בשל האופי הספציפי של החינוך הרפואי שהוזכר לעיל, יש להתאים מודלים של SETs המשמשים להערכת קורסים כלליים בהשכלה גבוהה הנלמדים על ידי חבר סגל יחיד כדי להעריך את תוכנית הלימודים המשולבת ואת הסגל הקליני של תוכניות רפואיות [14]. לכן, יש צורך לפתח מודלים של SET יעילים יותר ומערכות הערכה מקיפות ליישום יעיל יותר בחינוך הרפואי.
הסקירה הנוכחית מתארת את ההתקדמות האחרונה בשימוש ב-SET בהשכלה גבוהה (כללית) ואת מגבלותיה, ולאחר מכן מתווה את הצרכים השונים של SET עבור קורסי חינוך רפואי וסגל. סקירה זו מספקת עדכון כיצד ניתן לשפר את SET ברמה האינסטרומנטלית, המנהלית והפרשנית, ומתמקדת במטרות של פיתוח מודלים יעילים של SET ומערכות הערכה מקיפות שימדדו ביעילות את יעילות ההוראה, יתמכו בפיתוח מחנכים מקצועיים בתחום הבריאות וישפרו את איכות ההוראה בחינוך רפואי.
מחקר זה עוקב אחר מחקרם של גרין ואחרים (2006) [23] לקבלת ייעוץ ושל באומייסטר (2013) [24] לקבלת ייעוץ בנוגע לכתיבת סקירות נרטיביות. החלטנו לכתוב סקירה נרטיבית בנושא זה משום שסוג זה של סקירה מסייע להציג פרספקטיבה רחבה על הנושא. יתר על כן, מכיוון שסקירות נרטיביות נשענות על מחקרים מגוונים מבחינה מתודולוגית, הן מסייעות לענות על שאלות רחבות יותר. בנוסף, פרשנות נרטיבית יכולה לסייע בגירוי מחשבה ודיון בנושא.
כיצד משתמשים ב-SET בחינוך הרפואי ומהם האתגרים בהשוואה ל-SET המשמש בהשכלה גבוהה כללית?
בוצע חיפוש במאגרי המידע של Pubmed ו-ERIC באמצעות שילוב של מונחי החיפוש "הערכת הוראה של סטודנטים", "יעילות הוראה", "חינוך רפואי", "השכלה גבוהה", "הערכת תוכנית לימודים וסגל", ובמסגרת סקירת עמיתים 2000, אופרטורים לוגיים. מאמרים שפורסמו בין השנים 2021 ו-2021. קריטריוני הכללה: המחקרים שנכללו היו מחקרים מקוריים או מאמרי סקירה, והמחקרים היו רלוונטיים לתחומי שלוש שאלות המחקר העיקריות. קריטריוני אי הכללה: מחקרים שלא היו בשפה האנגלית או מחקרים שבהם לא ניתן היה למצוא מאמרים בטקסט מלא או שלא היו רלוונטיים לשלוש שאלות המחקר העיקריות הוצאו ממסמך הסקירה הנוכחי. לאחר בחירת הפרסומים, הם אורגנו לנושאים הבאים ולתת-נושאים קשורים: (א) השימוש ב-SET בהשכלה גבוהה כללית ומגבלותיו, (ב) השימוש ב-SET בחינוך רפואי ורלוונטיותו לטיפול בסוגיות הקשורות להשוואה של SET (ג) שיפור SET ברמות האינסטרומנטליות, הניהוליות והפרשניות לפיתוח מודלים יעילים של SET.
איור 1 מציג תרשים זרימה של מאמרים נבחרים שנכללו ונדונים בחלק הנוכחי של הסקירה.
SET שימש באופן מסורתי בהשכלה גבוהה והנושא נחקר היטב בספרות [10, 21]. עם זאת, מספר רב של מחקרים בחנו את מגבלותיהם הרבות ואת המאמצים להתמודד עם מגבלות אלו.
מחקרים מראים שישנם משתנים רבים המשפיעים על ציוני SET [10, 21, 25, 26]. לכן, חשוב שמנהלים ומורים יבינו משתנים אלה בעת פירוש ושימוש בנתונים. הסעיף הבא מספק סקירה קצרה של משתנים אלה. איור 2 מציג כמה מהגורמים המשפיעים על ציוני SET, המפורטים בסעיפים הבאים.
בשנים האחרונות, השימוש בערכות לימוד מקוונות גבר בהשוואה לערכות לימוד מודפסות. עם זאת, עדויות בספרות מצביעות על כך שניתן להשלים את מבחן ה-SET המקוון מבלי שהסטודנטים יקדישו את תשומת הלב הנדרשת לתהליך ההשלמה. במחקר מעניין של אויטדהאג' ואוניל [5], נוספו מורים שאינם קיימים למבחן ה-SET וסטודנטים רבים סיפקו משוב [5]. יתר על כן, עדויות בספרות מצביעות על כך שסטודנטים מאמינים לעתים קרובות שהשלמת מבחן ה-SET אינה מובילה לשיפור בהישגים הלימודיים, דבר שבשילוב עם לוח הזמנים העמוס של סטודנטים לרפואה, עלול לגרום לשיעורי תגובה נמוכים יותר [27]. למרות שמחקרים מראים שדעותיהם של הסטודנטים הניגשים למבחן אינן שונות מאלה של כלל הקבוצה, שיעורי תגובה נמוכים עדיין יכולים לגרום למורים להתייחס לתוצאות פחות ברצינות [28].
רוב מבחני ה-SET המקוונים מתבצעים באופן אנונימי. הרעיון הוא לאפשר לסטודנטים להביע את דעתם בחופשיות מבלי להניח שהבעתם תשפיע על מערכות היחסים העתידיות שלהם עם מורים. במחקר של אלפונסו ועמיתיו [29], חוקרים השתמשו בדירוגים אנונימיים ובדירוגים שבהם המעריכים נאלצו למסור את שמם (דירוגים פומביים) כדי להעריך את יעילות ההוראה של סגל בית הספר לרפואה על ידי מתמחים וסטודנטים לרפואה. התוצאות הראו כי מורים בדרך כלל קיבלו ציון נמוך יותר בהערכות האנונימיות. המחברים טוענים כי סטודנטים כנים יותר בהערכות אנונימיות עקב חסמים מסוימים בהערכות פתוחות, כגון יחסי עבודה פגועים עם המורים המשתתפים [29]. עם זאת, יש לציין גם כי האנונימיות הקשורה לעתים קרובות ל-SET מקוון עלולה להוביל סטודנטים מסוימים לחוסר כבוד ולנקמה כלפי המרצה אם ציוני ההערכה אינם עומדים בציפיות הסטודנטים [30]. עם זאת, מחקרים מראים כי סטודנטים כמעט ולא מספקים משוב לא מכבד, וניתן להגביל את האחרון עוד יותר על ידי לימוד סטודנטים לספק משוב בונה [30].
מספר מחקרים הראו כי קיים מתאם בין ציוני ה-SET של התלמידים, ציפיות הביצועים שלהם במבחנים ושביעות הרצון שלהם במבחנים [10, 21]. לדוגמה, Strobe (2020) [9] דיווח כי תלמידים מתגמלים קורסים קלים ומורים מתגמלים ציונים חלשים, מה שיכול לעודד הוראה גרועה ולהוביל לאינפלציה של ציונים [9]. במחקר שנערך לאחרונה, Looi et al. (2020) [31]. חוקרים דיווחו כי ציוני SET חיוביים יותר קשורים זה לזה וקלים יותר להערכה. יתר על כן, ישנן עדויות מטרידות לכך ש-SET קשור ביחס הפוך לביצועי התלמידים בקורסים הבאים: ככל שהדירוג גבוה יותר, כך ביצועי התלמידים בקורסים הבאים גרועים יותר. Cornell et al. (2016) [32] ערכו מחקר כדי לבחון האם תלמידי מכללות למדו יחסית יותר ממורים שאת ציוני ה-SET שלהם דירגו גבוה. התוצאות מראות שכאשר הלמידה מוערכת בסוף קורס, מורים עם הדירוגים הגבוהים ביותר תורמים גם ללמידה של התלמידים הרבים ביותר. עם זאת, כאשר הלמידה נמדדת לפי ביצועים בקורסים רלוונטיים הבאים, מורים שקיבלו ציון נמוך יחסית הם היעילים ביותר. החוקרים שיערו כי הפיכת קורס למאתגר יותר באופן פרודוקטיבי יכולה להוריד את הציונים אך לשפר את הלמידה. לכן, הערכות סטודנטים לא צריכות להיות הבסיס היחיד להערכת הוראה, אלא צריכות להיות מוכרות.
מספר מחקרים מראים כי ביצועי SET מושפעים מהקורס עצמו ומארגונו. מינג ובאוז'י [33] מצאו במחקרם כי היו הבדלים משמעותיים בציוני SET בין סטודנטים במקצועות שונים. לדוגמה, למדעים קליניים יש ציוני SET גבוהים יותר מאשר למדעי הבסיס. המחברים הסבירו כי הסיבה לכך היא שסטודנטים לרפואה מעוניינים להיות רופאים ולכן יש להם עניין אישי ומוטיבציה גבוהה יותר להשתתף יותר בקורסי מדעים קליניים בהשוואה לקורסי מדעים בסיסיים [33]. כמו במקרה של קורסי בחירה, גם למוטיבציה של הסטודנטים למקצוע יש השפעה חיובית על הציונים [21]. מספר מחקרים אחרים תומכים גם בכך שסוג הקורס עשוי להשפיע על ציוני SET [10, 21].
יתר על כן, מחקרים אחרים הראו שככל שגודל הכיתה קטן יותר, כך רמת ה-SET המושגת על ידי המורים גבוהה יותר [10, 33]. הסבר אפשרי אחד הוא שגודל כיתות קטן יותר מגדיל את ההזדמנויות לאינטראקציה בין מורה לתלמיד. בנוסף, התנאים שבהם מתבצעת ההערכה עשויים להשפיע על התוצאות. לדוגמה, נראה כי ציוני SET מושפעים מהשעה והיום בו נלמד הקורס, כמו גם מהיום בשבוע בו מתבצעת ה-SET (למשל, הערכות שבוצעו בסופי שבוע נוטות להניב ציונים חיוביים יותר) מאשר הערכות שבוצעו מוקדם יותר בשבוע. [10].
מחקר מעניין של הסלר ועמיתיו מטיל ספק גם ביעילותה של SET. [34]. במחקר זה, נערך ניסוי מבוקר אקראי בקורס רפואת חירום. סטודנטים לרפואה בשנה ג' חולקו באופן אקראי לקבוצת ביקורת או לקבוצה שקיבלה עוגיות שוקולד צ'יפס חינם (קבוצת עוגיות). כל הקבוצות עברו לימדו אותם מורים, ותוכן ההדרכה וחומרי הקורס היו זהים עבור שתי הקבוצות. לאחר הקורס, כל הסטודנטים התבקשו להשלים סט. התוצאות הראו שקבוצת העוגיות דירגה את המורים בצורה משמעותית טובה יותר מקבוצת הביקורת, דבר המעמיד בספק את יעילותה של SET [34].
ראיות בספרות תומכות גם בכך שמגדר עשוי להשפיע על ציוני SET [35,36,37,38,39,40,41,42,43,44,45,46]. לדוגמה, מספר מחקרים הראו קשר בין מגדר התלמידים לתוצאות ההערכה: תלמידות קיבלו ציונים גבוהים יותר מתלמידים גברים [27]. רוב הראיות מאשרות שתלמידים מדרגים מורות נמוך יותר ממורים גברים [37, 38, 39, 40]. לדוגמה, בורינג ועמיתיו [38] הראו שתלמידים וגם תלמידות האמינו שגברים בעלי ידע רב יותר ויכולות מנהיגות חזקות יותר מנשים. העובדה שמגדר וסטריאוטיפים משפיעים על SET נתמכת גם על ידי מחקרם של מקנל ועמיתיו [41], שדיווחו שתלמידים במחקרו דירגו מורות נמוך יותר ממורים גברים בהיבטים שונים של הוראה [41]. יתר על כן, מורגן ועמיתיו [42] סיפקו ראיות לכך שרופאות קיבלו דירוגי הוראה נמוכים יותר בארבעה סבבים קליניים עיקריים (כירורגיה, רפואת ילדים, מיילדות וגינקולוגיה ורפואה פנימית) בהשוואה לרופאים גברים.
במחקר של Murray et al. (2020) [43], דיווחו החוקרים כי האטרקטיביות של הסגל ועניין הסטודנטים בקורס היו קשורים לציוני SET גבוהים יותר. לעומת זאת, רמת הקושי של הקורס קשורה לציוני SET נמוכים יותר. בנוסף, סטודנטים נתנו ציוני SET גבוהים יותר למורים צעירים לבנים במדעי הרוח ולמרצים בעלי משרות פרופסורה מן המניין. לא נמצאו קורלציות בין הערכות הוראה של SET לבין תוצאות סקר מורים. מחקרים אחרים מאשרים גם את ההשפעה החיובית של האטרקטיביות הפיזית של המורים על תוצאות ההערכה [44].
Clayson et al. (2017) [45] דיווחו כי למרות שקיימת הסכמה כללית ש-SET מניבה תוצאות אמינות וכי ממוצעי הכיתה והמורים עקביים, עדיין קיימים חוסר עקביות בתשובות התלמידים האישיות. לסיכום, תוצאות דוח הערכה זה מצביעות על כך שהתלמידים לא הסכימו עם מה שהתבקשו להעריך. מדדי מהימנות הנגזרים מהערכות התלמידים על ההוראה אינם מספיקים כדי לספק בסיס לקביעת תוקף. לכן, SET עשוי לעיתים לספק מידע על תלמידים ולא על מורים.
תוכניות SET בחינוך לבריאות שונות מ-SET מסורתיות, אך מחנכים משתמשים לעתים קרובות ב-SET הזמינות בהשכלה גבוהה כללית ולא בתוכניות SET ספציפיות למקצועות הבריאות המדווחות בספרות. עם זאת, מחקרים שנערכו במהלך השנים זיהו מספר בעיות.
ג'ונס ואחרים (1994). [46] ערכו מחקר כדי לקבוע את השאלה כיצד להעריך סגל בבתי ספר לרפואה מנקודת מבטם של סגל ומנהלים. בסך הכל, הנושאים שהוזכרו בתדירות הגבוהה ביותר קשורים להערכת הוראה. הנפוצות ביותר היו תלונות כלליות על חוסר התאמתן של שיטות הערכת הביצועים הנוכחיות, כאשר המשיבים העלו גם תלונות ספציפיות על SET ועל חוסר ההכרה בהוראה במערכות תגמול אקדמיות. בעיות נוספות שדווחו כללו נהלי הערכה וקריטריונים לקידום לא עקביים בין המחלקות, היעדר הערכות סדירות וכישלון בקישור תוצאות הערכה למשכורות.
רויאל ואחרים (2018) [11] מתארים כמה מהמגבלות של שימוש ב-SET להערכת תוכנית לימודים וסגל בתוכניות לימודי רפואה מקצועית בהשכלה הגבוהה הכללית. חוקרים מדווחים כי SET בהשכלה הגבוהה מתמודד עם אתגרים שונים משום שלא ניתן ליישם אותו ישירות על עיצוב תוכנית לימודים והוראת קורסים בבתי ספר לרפואה. שאלות נפוצות, כולל שאלות על המרצה והקורס, משולבות לעתים קרובות לשאלון אחד, כך שלעתים קרובות סטודנטים מתקשים להבחין ביניהם. בנוסף, קורסים בתוכניות רפואה נלמדים לעתים קרובות על ידי מספר חברי סגל. זה מעלה שאלות של תוקף לאור המספר הפוטנציאלי המוגבל של אינטראקציות בין סטודנטים למורים שהוערכו על ידי רויאל ואחרים (2018) [11]. במחקר של הואנג ואחרים (2017) [14], בחנו חוקרים את הקונספט של האופן שבו הערכות קורסים רטרוספקטיביות משקפות באופן מקיף את תפיסות הסטודנטים לגבי קורסים שונים של מרצים. תוצאותיהם מצביעות על כך שהערכה כיתתית אישית נחוצה לניהול קורסים רב-מחלקתיים במסגרת תוכנית לימודים משולבת בבית ספר לרפואה.
אויטדהאג' ואוניל (2015) [5] בחנו את המידה שבה סטודנטים לרפואה לקחו במכוון מבחן SET בקורס רב-פקולטתי בכיתה. כל אחד משני הקורסים הפרה-קליניים כלל מדריך בדיוני. הסטודנטים חייבים לספק דירוגים אנונימיים לכל המרצים (כולל מרצים בדיוניים) תוך שבועיים מסיום הקורס, אך רשאים לסרב להעריך את המדריך. בשנה שלאחר מכן זה קרה שוב, אך דיוקנו של המרצה הבדיוני נכלל. שישים ושישה אחוזים מהסטודנטים דירגו את המדריך הווירטואלי ללא דמיון, אך פחות סטודנטים (49%) דירגו את המדריך הווירטואלי עם דמיון קיים. ממצאים אלה מצביעים על כך שסטודנטים רבים לרפואה משלימים מבחן SET באופן עיוור, גם כשהוא מלווים בתמונות, ללא שיקול דעת מדוקדק של מי הם מעריכים, שלא לדבר על ביצועי המדריך. זה מעכב את שיפור איכות התוכנית ויכול לפגוע בהתקדמות האקדמית של המורים. החוקרים מציעים מסגרת המציעה גישה שונה באופן קיצוני ל-SET המערבת את הסטודנטים באופן פעיל ואקטיבי.
ישנם הבדלים רבים נוספים בתוכנית הלימודים החינוכית של תוכניות רפואה בהשוואה לתוכניות השכלה גבוהה כלליות אחרות [11]. חינוך רפואי, כמו חינוך מקצועי לבריאות, מתמקד בבירור בפיתוח תפקידים מקצועיים מוגדרים בבירור (פרקטיקה קלינית). כתוצאה מכך, תוכניות הלימודים של תוכניות רפואה ובריאות הופכות לסטטיות יותר, עם אפשרויות מוגבלות של קורסים וסגל. מעניין לציין, שקורסי חינוך רפואי מוצעים לעתים קרובות בפורמט קבוצתי, כאשר כל הסטודנטים לומדים את אותו קורס באותו זמן בכל סמסטר. לכן, רישום מספר גדול של סטודנטים (בדרך כלל n = 100 או יותר) יכול להשפיע על פורמט ההוראה כמו גם על יחסי מורה-תלמיד. יתר על כן, בבתי ספר רבים לרפואה, התכונות הפסיכומטריות של רוב הכלים אינן מוערכות עם השימוש הראשוני, ותכונותיהם של רוב הכלים עשויות להישאר לא ידועות [11].
מספר מחקרים שנערכו בשנים האחרונות סיפקו ראיות לכך שניתן לשפר מודל SET על ידי התייחסות למספר גורמים חשובים שעשויים להשפיע על יעילותו ברמה האינסטרומנטלית, המנהלית והפרשנית. איור 3 מציג כמה מהשלבים בהם ניתן להשתמש כדי ליצור מודל SET יעיל. הסעיפים הבאים מספקים תיאור מפורט יותר.
לשפר את ה-SET ברמה האינסטרומנטלית, הניהולית והפרשנית כדי לפתח מודלים יעילים של SET.
כפי שצוין קודם לכן, הספרות מאשרת כי הטיה מגדרית יכולה להשפיע על הערכות מורים [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. פיטרסון ואחרים (2019) [40] ערכו מחקר שבדק האם מגדר התלמידים השפיע על תגובותיהם למאמצי הפחתת הטיה. במחקר זה, מבחן SET הועבר לארבע כיתות (שתיים שנלמדו על ידי מורים גברים ושתיים שנלמדו על ידי מורות). בתוך כל קורס, התלמידים חולקו באופן אקראי לקבלת כלי הערכה סטנדרטי או אותו כלי אך תוך שימוש בשפה שנועד להפחית הטיה מגדרית. המחקר מצא כי תלמידים שהשתמשו בכלי הערכה אנטי-הטיים נתנו למורות ציוני SET גבוהים משמעותית בהשוואה לתלמידים שהשתמשו בכלי הערכה סטנדרטיים. יתר על כן, לא נמצאו הבדלים בדירוגי המורים הגברים בין שתי הקבוצות. תוצאות מחקר זה משמעותיות ומדגימות כיצד התערבות שפה פשוטה יחסית יכולה להפחית הטיה מגדרית בהערכות תלמידים את ההוראה. לכן, מומלץ לשקול היטב את כל תוכניות ה-SET ולהשתמש בשפה כדי להפחית הטיה מגדרית בהתפתחותן [40].
כדי לקבל תוצאות שימושיות מכל מבחן SET, חשוב לשקול היטב את מטרת ההערכה ואת ניסוח השאלות מראש. למרות שרוב סקרי ה-SET מציינים בבירור חלק על היבטים ארגוניים של הקורס, כלומר "הערכת קורס", וחלק על סגל, כלומר "הערכת מורים", בחלק מהסקרים ההבדל עשוי לא להיות ברור, או שייתכן שיש בלבול בקרב הסטודנטים לגבי אופן הערכת כל אחד מהתחומים הללו בנפרד. לכן, עיצוב השאלון חייב להיות מתאים, להבהיר את שני החלקים השונים של השאלון, ולגרום לסטודנטים להיות מודעים למה שיש להעריך בכל תחום. בנוסף, מומלץ לבצע ניסוי פיילוט כדי לקבוע האם הסטודנטים מפרשים את השאלות באופן המיועד [24]. במחקר של אורמן ואחרים (2018) [26], החוקרים חיפשו וסינתזו ספרות המתארת את השימוש ב-SET במגוון רחב של תחומים בחינוך לתואר ראשון ושני כדי לספק למחנכים הדרכה לגבי השימוש ב-SET בסיעוד ובתוכניות מקצועיות אחרות בתחום הבריאות. התוצאות מצביעות על כך שיש להעריך את כלי ה-SET לפני השימוש, כולל ניסוי כלים עם תלמידים שעשויים שלא להיות מסוגלים לפרש את הפריטים או השאלות של כלי ה-SET כפי שהתכוון המרצה.
מספר מחקרים בחנו האם מודל הממשל של SET משפיע על מעורבות סטודנטים.
דאומייה ואחרים (2004) [47] השוו את דירוגי הסטודנטים של הכשרת מדריכים שהושלמה בכיתה עם דירוגים שנאספו באינטרנט על ידי השוואת מספר התשובות והדירוגים. מחקרים מראים כי סקרים מקוונים בדרך כלל בעלי שיעורי תגובה נמוכים יותר מאשר סקרים בכיתה. עם זאת, המחקר מצא כי הערכות מקוונות לא הניבו ציונים ממוצעים שונים באופן משמעותי מהערכות בכיתה מסורתיות.
דווח על חוסר בתקשורת דו-כיוונית בין תלמידים למורים במהלך השלמת מבחני SET מקוונים (אך לעתים קרובות מודפסים), מה שגרם לחוסר הזדמנות להבהרה. לכן, משמעותן של שאלות, הערות או הערכות תלמידים בנושא SET עשויה לא תמיד להיות ברורה [48]. מוסדות מסוימים טיפלו בבעיה זו על ידי איחוד תלמידים לשעה והקצאת זמן ספציפי להשלמת מבחני ה-SET באופן מקוון (באופן אנונימי) [49]. במחקרם, מאלון ואחרים (2018) [49] קיימו מספר פגישות כדי לדון עם תלמידים במטרת מבחני ה-SET, מי יראה את תוצאות ה-SET וכיצד ישמשו אותן, וכל נושא אחר שמעלים התלמידים. מבחני ה-SET מתנהלים בדומה לקבוצת מיקוד: הקבוצה הקולקטיבית עונה על שאלות פתוחות באמצעות הצבעה בלתי פורמלית, דיון והבהרה. שיעור התגובה היה מעל 70-80%, ומספק למורים, למנהלים ולוועדות תוכנית לימודים מידע נרחב [49].
כפי שצוין לעיל, במחקר של אויטדהאג' ואוניל [5], דיווחו החוקרים כי סטודנטים במחקרם דירגו מורים שאינם קיימים. כפי שצוין קודם לכן, זוהי בעיה נפוצה בקורסים בבתי ספר לרפואה, שבהם כל קורס עשוי להילמד על ידי חברי סגל רבים, אך ייתכן שסטודנטים אינם זוכרים מי תרם לכל קורס או מה עשה כל חבר סגל. מוסדות מסוימים טיפלו בבעיה זו על ידי מתן תמונה של כל מרצה, שמו והנושא/תאריך שהוצג כדי לרענן את זיכרונם של הסטודנטים ולמנוע בעיות שפוגעות ביעילות ה-SET [49].
ייתכן שהבעיה החשובה ביותר הקשורה ל-SET היא חוסר היכולת של מורים לפרש נכון תוצאות כמותיות ואיכותיות של SET. חלק מהמורים עשויים לרצות לערוך השוואות סטטיסטיות בין שנים, חלקם עשויים לראות עליות/ירידות קלות בממוצע הציונים כשינויים משמעותיים, חלקם רוצים להאמין לכל סקר, ואחרים ספקנים לחלוטין לגבי כל סקר [45,50, 51].
אי-פרשנות נכונה של תוצאות או עיבוד משוב מסטודנטים עלולים להשפיע על עמדות המורים כלפי הוראה. תוצאותיו של לוטובאק ואחרים (2017) [52]. הכשרת מורים תומכת נחוצה ומועילה למתן משוב לסטודנטים. חינוך רפואי זקוק בדחיפות להכשרה בפירוש נכון של תוצאות SET. לכן, סגל בתי הספר לרפואה צריך לקבל הכשרה כיצד להעריך תוצאות ובתחומים החשובים שבהם עליהם להתמקד [50, 51].
לפיכך, התוצאות המתוארות מצביעות על כך שיש לתכנן, לנהל ולפרש בקפידה את מערכות ה-SET על מנת להבטיח שלתוצאות ה-SET תהיה השפעה משמעותית על כל בעלי העניין הרלוונטיים, כולל סגל, מנהלי בתי ספר לרפואה וסטודנטים.
בשל חלק מהמגבלות של SET, עלינו להמשיך לשאוף ליצירת מערכת הערכה מקיפה כדי להפחית הטיה ביעילות ההוראה ולתמוך בפיתוח המקצועי של מחנכים רפואיים.
ניתן להשיג הבנה מלאה יותר של איכות ההוראה של סגל קליני על ידי איסוף וטריאנגולציה של נתונים ממקורות מרובים, כולל סטודנטים, עמיתים, מנהלי תוכניות והערכות עצמיות של סגל [53, 54, 55, 56, 57]. הסעיפים הבאים מתארים כלים/שיטות אפשריות נוספות שניתן להשתמש בהן בנוסף ל-SET יעיל כדי לסייע בפיתוח הבנה מתאימה ומלאה יותר של יעילות ההכשרה (איור 4).
שיטות בהן ניתן להשתמש לפיתוח מודל מקיף של מערכת להערכת יעילות ההוראה בבית ספר לרפואה.
קבוצת מיקוד מוגדרת כ"דיון קבוצתי המאורגן לבחינת קבוצה ספציפית של נושאים" [58]. במהלך השנים האחרונות, בתי ספר לרפואה יצרו קבוצות מיקוד כדי לקבל משוב איכותי מסטודנטים ולטפל בכמה מהמכשולים של לימודי SET מקוונים. מחקרים אלה מראים שקבוצות מיקוד יעילות במתן משוב איכותי ובהגברת שביעות רצון הסטודנטים [59, 60, 61].
במחקר של ברונדל ואחרים [59] החוקרים יישמו תהליך של קבוצת הערכה לסטודנטים שאפשר למנהלי קורסים ולסטודנטים לדון בקורסים בקבוצות מיקוד. התוצאות מצביעות על כך שדיוני קבוצות מיקוד משלימים הערכות מקוונות ומגבירים את שביעות רצון הסטודנטים מתהליך הערכת הקורסים הכולל. סטודנטים מעריכים את ההזדמנות לתקשר ישירות עם מנהלי קורסים ומאמינים שתהליך זה יכול לתרום לשיפור חינוכי. הם גם חשו שהם הצליחו להבין את נקודת המבט של מנהל הקורס. בנוסף לסטודנטים, מנהלי קורסים גם דירגו שקבוצות מיקוד מאפשרות תקשורת יעילה יותר עם סטודנטים [59]. לפיכך, השימוש בקבוצות מיקוד יכול לספק לבתי ספר לרפואה הבנה מלאה יותר של איכות כל קורס ויעילות ההוראה של הסגל הרלוונטי. עם זאת, יש לציין שלקבוצות המיקוד עצמן יש מגבלות מסוימות, כגון מספר קטן בלבד של סטודנטים המשתתפים בהן בהשוואה לתוכנית SET המקוונת, הזמינה לכל הסטודנטים. בנוסף, ניהול קבוצות מיקוד עבור קורסים שונים יכול להיות תהליך גוזל זמן עבור יועצים וסטודנטים. זה מציב מגבלות משמעותיות, במיוחד עבור סטודנטים לרפואה בעלי לוחות זמנים עמוסים מאוד ועשויים לבצע התמחויות קליניות במיקומים גיאוגרפיים שונים. בנוסף, קבוצות מיקוד דורשות מספר רב של מנחים מנוסים. עם זאת, שילוב קבוצות מיקוד בתהליך ההערכה יכול לספק מידע מפורט וספציפי יותר על יעילות ההכשרה [48, 59, 60, 61].
Schiekierka-Schwacke ואחרים (2018) [62] בחנו את תפיסות הסטודנטים והסגל לגבי כלי חדש להערכת ביצועי הסגל ותוצרי הלמידה של הסטודנטים בשני בתי ספר לרפואה גרמניים. נערכו דיונים בקבוצות מיקוד וראיונות אישיים עם סגל וסטודנטים לרפואה. המורים העריכו את המשוב האישי שסיפק כלי ההערכה, והסטודנטים דיווחו כי יש ליצור לולאת משוב, הכוללת מטרות והשלכות, כדי לעודד דיווח על נתוני הערכה. לפיכך, תוצאות מחקר זה תומכות בחשיבות סגירת לולאת התקשורת עם הסטודנטים ויידועם בתוצאות ההערכה.
תוכניות לביקורת עמיתים על הוראה (PRT) חשובות מאוד ומיושמות בהשכלה גבוהה מזה שנים רבות. PRT כולל תהליך שיתופי של תצפית על הוראה ומתן משוב לצופה כדי לשפר את יעילות ההוראה [63]. בנוסף, תרגילי רפלקציה עצמית, דיוני מעקב מובנים והקצאה שיטתית של עמיתים שהוכשרו יכולים לסייע בשיפור יעילות ה-PRT ואת תרבות ההוראה של המחלקה [64]. דווח כי לתוכניות אלו יתרונות רבים שכן הן יכולות לעזור למורים לקבל משוב בונה ממורים עמיתים שעשויים להתמודד עם קשיים דומים בעבר ויכולות לספק תמיכה רבה יותר על ידי מתן הצעות מועילות לשיפור [63]. יתר על כן, כאשר משתמשים בהן באופן בונה, ביקורת עמיתים יכולה לשפר את תוכן הקורסים ואת שיטות ההעברה, ולתמוך במחנכים רפואיים בשיפור איכות ההוראה שלהם [65, 66].
מחקר שנערך לאחרונה על ידי קמפבל ואחרים (2019) [67] מספק ראיות לכך שמודל תמיכת עמיתים במקום העבודה הוא אסטרטגיה מקובלת ויעילה לפיתוח מורים עבור מחנכי בריאות קליניים. במחקר אחר, קייגיל ואחרים [68] ערכו מחקר שבו נשלח שאלון שתוכנן במיוחד למחנכי בריאות באוניברסיטת מלבורן כדי לאפשר להם לשתף את חוויותיהם בשימוש ב-PRT. התוצאות מצביעות על כך שיש עניין גובר ב-PRT בקרב מחנכים רפואיים וכי פורמט הביקורת העמיתים הוולונטרי והאינפורמטיבי נחשב להזדמנות חשובה ובעלת ערך לפיתוח מקצועי.
ראוי לציין כי יש לתכנן בקפידה תוכניות PRT כדי להימנע מיצירת סביבה שיפוטית ו"ניהולית" אשר לעיתים קרובות מובילה לחרדה מוגברת בקרב מורים נצפים [69]. לכן, המטרה צריכה להיות לפתח בקפידה תוכניות PRT שישלימו ויקלו על יצירת סביבה בטוחה ויספקו משוב בונה. לכן, יש צורך בהכשרה מיוחדת להכשרת סוקרים, ותוכניות PRT צריכות לכלול רק מורים בעלי עניין אמיתי ומנוסים. זה חשוב במיוחד אם המידע המתקבל מ-PRT משמש בהחלטות סגל כגון קידומים לרמות גבוהות יותר, העלאות שכר וקידום לתפקידים אדמיניסטרטיביים חשובים. יש לציין כי PRT גוזל זמן רב, וכמו קבוצות מיקוד, דורש את השתתפותם של מספר רב של חברי סגל מנוסים, מה שמקשה על יישום גישה זו בבתי ספר לרפואה בעלי משאבים דלים.
ניומן ואחרים (2019) [70] מתארים אסטרטגיות בהן נעשה שימוש לפני, במהלך ואחרי הכשרה, תצפיות המדגישות שיטות עבודה מומלצות ומזהות פתרונות לבעיות למידה. החוקרים סיפקו 12 הצעות לסוקרים, ביניהן: (1) בחרו את מילותיכם בחוכמה; (2) אפשרו לצופה לקבוע את כיוון הדיון; (3) שמרו על סודיות ומעוצבות של המשוב; (4) שמרו על סודיות ומעוצבות של המשוב; המשוב מתמקד במיומנויות הוראה ולא במורה הבודד; (5) הכירו את עמיתכם (6) התחשבו בעצמכם ובאחרים (7) זכרו שכינויי גוף ממלאים תפקיד חשוב במתן משוב, (8) השתמשו בשאלות כדי לשפוך אור על נקודת המבט של ההוראה, (10) ביססו תהליכי אמון ומשוב בתצפיות עמיתים, (11) הפכו את התצפית על הלמידה למצב של win-win, (12) צרו תוכנית פעולה. חוקרים חוקרים גם את השפעת ההטיה על תצפיות וכיצד תהליך הלמידה, התצפית והדיון במשוב יכולים לספק חוויות למידה חשובות לשני הצדדים, מה שמוביל לשותפויות ארוכות טווח ולשיפור איכות החינוך. גומלי ואחרים. (2014) [71] דיווחו כי איכות המשוב האפקטיבי צריכה לכלול (1) הבהרה של המשימה על ידי מתן הנחיות, (2) מוטיבציה מוגברת לעידוד מאמץ גדול יותר, ו-(3) תפיסת המקבל את התהליך כתהליך בעל ערך, המסופק על ידי מקור בעל מוניטין.
למרות שסגל בית הספר לרפואה מקבל משוב על PRT, חשוב להכשיר את הסגל כיצד לפרש משוב (בדומה להמלצה לקבל הכשרה בפירוש SET) ולאפשר לסגל מספיק זמן כדי להרהר באופן בונה על המשוב שהתקבל.
זמן פרסום: 24 בנובמבר 2023