יום ראשון, 29 במרץ 2009

שיטות מחקר א: מהימנות ותוקף יחידה 3

מהימנות ותוקף

(מהספר עמוד 166)

מהימנות: האם כלי המדידה מודד הבדלים אמיתיים בין הנבדקים ולא הבדלים שמקורים בטעות?

תוקף: האם כלי המדידה שיצרנו מודד את ההבדלים בין הנבדקים במונח התיאורטי שאליו התכוונו או שמא במונח תיאורטי אחר?

מהימנות

מהימנות של כלי מדידה שואלת את השאלה עד כמה כלי המדידה הוא שיטתי, עקבי

במובן הזה שאם אני אחזור על המדידה פעם נוספת אני אקבל תוצאות דומות.

כלומר עד כמה כלי המדידה שלי בודק משהו אמיתי וללא טעות מקרית כלשהי.

כלומר עד כמה הכלי מדידה שלי משוחרר מטעות מקרית.

כשההנחה היא שכל ציון נצפה מורכב מציון אמיתי.

ערך המהימנות

ציון נצפה= ציון אמיתי + טעות

Xo =Xt + Ei

מרכיב של טעות+ ציון אמיתי= ציון נצפה

ולכן:

o^2 = t^2 + ^2ei

שונות הטעות + שונות אמיתית = שונות הציונים הנצפים

מקדם מהמנות מסומן ב rtt=r^2to

מקדם מהימנות זהו היחס בין השונות האמיתית לשונות הנצפית

σ(o)^2/ rtt=r(to)^2=1- σ(ei)^2

ערך המהימנות נע בין 0-1

אם מרכיב הטעות הוא 0 אז משמעות הדברים שהמהימנות היא מושלמת = 1

כלי המדידה שימושי כאשר

  • כלי מדידה הוא שימושי כאשר המהימנות שלו היא לפחות 0.8 (או יותר)

  • אם המהימנות היא נמוכה מזה אז אי אפשר להשתמש בכלי מדידה כי הוא בודק יותר מידי טעויות מקריות.

  • כלומר מרכיב גדול של הציון הוא טעות מקרית ויש לנסח מחדש = לערוך תיקונים לכלי המדידה

  • (שורש המהימנות מהווה חסם עליון לתוקף- הסבר בהמשך)

פתוח המהימנות:

כיוון שהחוקר לא יכול להפריד בין הציון האמיתי לבין הציון הנצפה אזי עליו להשתמש בדרכים עקיפות על מנת לבדוק את המהימנות

כל סוג של מהמנות (כלומר הדרך שבו בחרתי לבדוק את המהימנות) בודק סוג מסוים של טעות מקרית.

כלומר כל סוג של מהמנות רגיש ל / בדוק/ מודד מרכיב אחר של טעות מקרית.

הבחירה באיזה סוג מהימנות החוקר יבחר תלויה בסוג המשתנה הנחקר ובמטרות המחקר.

קימים 4 סוגים של מהימנות

  1. מהמנות כיציבות (מבחן חוזר)

  2. מהמנות כאקווילנטיות (נוסחים מקבילים)

  3. מהימנות כעקיבות פנימית

  4. מהימנות בין שופטים

א. מהימנות כיציבות (מבחן חוזר)

צורת העברה
  • נוסח אחד של השאלון.

  • העברת השאלון בשני מועדים שונים.

  • החוקר מעביר לקבוצה של נבדקים את כלי המדידה

  • כעבור פרק זמן מסוים הוא מעביר לאותה קבוצה של נבדקים את אותו כלי המדידה (אותו נוסח או נוסח דומה), כשהפער בין הזמנים נע בין שבועים לחצי שנה.

מרכיב הטעות המקרית: שינויים בזמן

לאיזה טעות מקרית רגיש סוג המהימנות הזה= במה נבדלות שתי המדידות האלה.

ההבדל= השונה בין 2 המדידות הוא השינויים בזמן ולכן סוג המהימנות זה בודק את מרכיב הטעות המקרית שקשורה בזמן

טעות מקרית שקשורה בזמן

מצב רוח

הבדלים במצב בריאות

רמת ריכוז

מזג אוויר

תנאים פיזיים של מיקום המדידה (למשל רעש, תאורה)

ההנחה היא שכיוון שאני מעביר לאותה קבוצה של נבדקים את אותו כלי המדידה בדיוק אני אמור לקבל את אותם הציונים.

אופן החישוב

אופן החישוב הוא חישוב המתאם בין הציונים של הנבדקים במועדן הראשון לציונים של הנבדקים במועד השני.

ככל שהתאם גבוה יותר כך המהימנות של כלי המדידה גבוה יותר.

דוגמא

אם התקבל מתאם של rtt=0.8משמעות הדבר

  • ש 80% משונות הציונים הנצפים משוחררים מטעויות מקריות שקשורות לזמן, או במילים אחרות, 80% מהשונות לא תלויה בזמן.

  • 20% משונות הציונים תלויה/ מושפעת מטעויות מקריות של זמן.

ב. מהימנות כאקווילנטיות (נוסחים מקבילים)

  • החוקר, במקום לפתח כלי מדידה נוסף אחד בלבד, מחבר 2 נוסחים מקבילים שונים עם אותה כמות פריטים.

  • ההבדל בין הנוסחים הוא ההבדלים בניסוחים: כלומר שאנו משתמשים בשני נוסחים מקבילים שהם בודקים בדיוק את אותה תכונה והשימוש הוא רק שימוש במילים נרדפות. לדוגמא:

  • אם שואלים שאלה על חברותיות, אז אפשר לשאול :

  • אני אדם חברותי = יש לי הרבה חברים

צורת העברה
  • שני נוסחים מקבילים.

  • העברת השאלון פעם אחת

  • אחרי שפיתחנו את 2 הנוסחים:

  • מעבירים לקבוצה של נבדקים את הנוסח הראשון ומייד לאחר מכן (ללא פער זמן) מעבירים לאותה קבוצה של נבדקים את הנוסח השני.

מרכיב הטעות המחקרית= הבדלים תוכן הפריטים

אם נמצאים הבדלים בין הציונים אז הם נובעים מהבדלים בתוכן הפריטים

כלומר אם התקבלו שינוים בין הציונים משמעות הדבר שההבדל לא היה רק בניסוח המילולי אלא גם בתוכן של הפריטים, כלומר במשמעות שהנבדקים ייחסו לפריטים השונים. או באופן שהם פירשו את הנוסחים

אופן החישוב

אופן החישוב יהיה המתאם בין ציוני הנבדקים בנוסח הראשון לבין ציונים בנוסח השני.

דוגמא

אם התקבל מתאם של 0.8 במהימנות נוסח מקביל (rtt=) אז זה אומר

80% משונות הציונים הנצפים משוחרים מטעויות מקריות שקשורות בתוכן הפריטים

20% משונות הציונים תלויה/ מושפעת מטעות שקשורה בתוכן הפריטים.

ג. מהימנות כעקיבות פנימית

צורת העברה
  • נוסח שאלון אחד

  • העברת השאלון פעם אחת

שיטה זאת (שאלון בדרך כלל) יוצאת מתוך נקודות הנחה שכאשר השאלון אמור לבדוק משתנה תיאורטי אחד (עולם תוכן אחד), אזי:

  • כל הפריטים השונים הם בעצם וריאציות שונות לבדוק את אותו משתנה

  • לפיכך הנבדק אמור לענות באופן דומה לפריטים השונים.

  • מהימנות כעקיבות פנימית היא פופולרית בקרב חוקרים, מכיוון שהיא חסכונית וזאת מכיוון שמספיק רק נוסח אחר והעברה אחת כדי לבדוק את המהימנות

מרכיב הטעות המחקרית: תוכן הפריטים
  • כמו מהימנות כאקווילנטיות גם מהימנות כעקיבות פנימית זהו סוג מהימנות שרגיש לטעות מקרית של תוכן הפריטים

  • בודק עד כמה הנבדק עקבי בתוך כלי מדידה אחד.

אופן החישוב

אופן החישוב יכול להתבצע בשני אופנים:

א. מקדם מהימנות ספירמן בראון
  • נחלק את השאלות לשני חצאים

  • החלוקה היא מקרית או שלוקחים פריטים זוגיים מול פריטים אי זוגיים.

  • מחשבים את המתאם בין שני החצאים

הנוסחה היחידה שצריך לדעת בקורס:

r s-b = (2*r12) / (1+r12)

דוגמא לחישוב

נניח ש r12=0.6

אזי:

rs-b= 2*0.6/(1+0.6)=0.75

ב. מקדם המהימנות אלפא של קרוונבך = הממוצע של מקדמי ספירמן בראון האפשריים
  • במקום לחשב מתאם רק בין שני חצאים אפשר לחשב מתאם בן כל פריט לשאר הפריטים

  • מקדם המהימנות מהווה את הממוצע של המתאמים של פריט בודד מול האחרים ולכן אלפא של קורנבך גם נקרא הממוצע של מקדמי ספירמן בראון האפשריים

4. מהימנות בין שופטים

צורת העברה
  • לאותה קבוצת נבדקים ממנים שני שופטים שבאופן בלתי תלוי זה בזה מדרגים ציון לכל נבדק

  • בדרך כלל השופט זה מומחה לנושא הנחקר

  • (לעתים אפשר להשתמש גם בעמיתים לעבודה)

  • שני השופטים חייבים להיות בעלי אותה זיקה (יחס) לנבדקים:

  • למשל אי אפשר לקחת עמית לעבודה מול ממונה לעבודה

  • אם לוקחים מומחה אז שניהם חייבים להיות פסיכולוגים

  • בין זוג לעבודה זה לא שופט כי אין לו את אותה זיקה

  • דיווח עצמי לאומת כל מישהו אחר זה לא טוב מכיוון שזה לא אותה זיקה וממילא לא נחשב מהימנות בין שופטים

מרכיב הטעות המקרית: תלות במעריך/ סוביקטיביות של השופט

מרכיב הטעות המחקרית= למה רגיש סוג המהימנות= מה משתנה בין שני המדידות:

הסוביקטיביות של המעריך, כלומר תלות במעריך כלומר טעות מקרית שתלויה במעריך

ההבדלים בין הדירוגים עלולים להיווצר בעקבות פרשנויות שונות של השופטים (למשל תפיסות עולם שונות)

אופן החישוב

אופן החישוב הוא המתאם בין הדירוגים של השופטים

כפי שכתבתי: ההבדלים בין הדירוגים עלולים להיווצר בעקבות פרשנויות שונות של השופטים (למשל תפיסות עולם שונות)

תשובה לדוגמא
  • נעשה ניסיון לבדוק מתאם של אותה תכונה (= כושר כתיבת תוכנית מחשב)

  • לאותה קבוצה של נבדקים

  • באמצעות אותה שיטה (מבחן)

  • על ידי 2 מומחים (=שופטים)

  • ולכן מדובר בבדיקת מהימנות בין שופטים

דף סיכום בנושא מהימנות

סוג מהימנות (דרך בדיקת המהימנות)

מספר נוסחים

מספר העברות

מתאם בין המדידות

הטעות המקרית שנבדקת נמדדת (מרכיב הטעות המקרית אליה הבדיקה רגישה או תלויה)

משתנה

קבוע

מהימנות כיציבות (מבחן חוזר)

1

אותו נוסח/ נוסח זהה - דומה

2

(שני מועדים שונים)

זמן

  • תוכן הפריטים

  • המעריך

שינויים בזמן (כוללים: שינוים במזג אוויר, מצב רוח, מצב בריאות, רמת עייפות וכד')

מהימנות כאקווילנטיות

2

נוסחים מקבילים / שונים

1

תוכן הפריטים

  • זמן

  • המעריך

תוכן הפריטים (ההבדלים בניסוח מילולים שעשויים בטעות לשקף הבדלים במשמעות

מהימנות כעקיבות פנימית

1

1

תוכן הפריטים

  • זמן

  • המעריך

תוכן הפריטים

מהימנות בין שופטים

(שני השופטים חייבים להיות בעלי אותה זיקה לנבדקים)

1

1

מעריך

  • תוכן הפריטים

  • זמן

תלות במעריך / סוביקטיביות של השופט (הבדלים בתפיסת עולם ואופן הפירוש של כל מעריך

סוג מבחנים

  1. מהירות/ כושר

  2. הומוגני/ הטרוגני

מבחן מהירות/ מבחן כושר

הבחירה לסוג המהימנות קשורות למטרות המחקר ולסוג המשתנה

מבחינים בשני סוגים של מבחנים

מבחן מהירות

מבחן כושר

א. מבחן מהירות

זהו מבחן שבודק יעילות/ זריזות של ביצוע … קבוע זמן.

  • המטרה היא לבדוק את הספק הנבדקים

  • כשההנחה היא שאם היה לכולם זמן בלתי מוגבל הם היו יכולים לענות באופן מלא על השאלון כי הפריטים שם הם קלים .

ב. מבחן כושר
  • זהו מבחן שהפריטים מסודרים בסדר מסוים (בדרך כלל מהקל אל הקשה)

  • והם לא מוגבלים בזמן.

  • ההבדלים שמתקבלים הם ביכולת הספציפית של כל נבדק ולא בהספק שלו

ולכן זה נקרא מבחן כושר

כל מבחן שבודק תכונות אישיות כלשהי הוא בהכרח מבחן כושר

כאשר מטרת המבחן זה לבדוק את מידת קיומה של אותה תכונה/ אותם כישורים של הנבדק

(גם מודעים עצמית/ רמה חברתית / וכד' זה סוג של כישרון.

מבחן הומוגני/ מבחן הטרוגני

אנחנו מבחינים בין מבחן הומוגני למבחן הטרוגני

מבחן הומוגני
  • מבחן שבודק עולם תוכן אחד. כלומר רק משתנה תיאורטי אחת בלבד

  • ביתר דיוק: זהו מבחן שבודק הבט ספציפי למשתנה תיאורטי מסוים

מבחן הטרוגני
  • זהו מבחן שבודק 2 הבטים שונים של אותה תכונה.

  • או 2 תכונות שונות

דוגמא

אם נבדוק תוקפנות מילולית זה מבחן הומוגני

אם נערוך השוואה בין תוקפנות מילולית ותוקפנית גופנית אילו הם 2 עולמות תוכן. כי זה שני הבטים שונים לאותו משתנה תיאורטי.

הסבר / נימוק לבדיקה מסוג מהימנות- דגם של ניסוח תשובה הנדרש בקורס (ממן + מבחן)

תמיד צריך להופיע הפתיחה:
  • מדובר בבדיקה של תכונה אחת (להגיד מה שם התכונה, למשל כושר מנהיגות)

  • לאותה קבוצה של נבדקים

  • באמצעות שיטה אחת ( להגיד מהי השיטה, למשל שאלון סוציומטרי)

צריך להופיע אחת מארבעת האפשרויות הבאות בניסוח הבא:
  1. ובאותו נוסח המועבר בשני מועדים שונים, ולכן מדובר במהימנות כיציבות

  2. על ידי נוסחים מקבילים המועברים ללא פער זמן ולכן מדובר במהימנות כאקווילנטיות

  3. בדרך של חלוקה פנימית של נוסח אחת המועבר פעם אחת ולכן מדובר במהימנות כעקיבות פנימית

  4. ששני שופטים (מעריכים) מדרגים באופן בלתי תלוי זה בזה ולכן מדובר במהימנות בין שופטים

שאלות ותשובות בנושא מהימנות

שאלה ותשובה לדוגמא מדף שאלון שחולק בכיתה-

חוקר רצה לבחון את כושר המנהיגות של קבוצת צוערים.

הוא העביר להם שבוע לאחר תחילת הקורס, שאלון סוציומטרי,

בתום הקורס העביר החוקר לאותה קבוצת צוערים את אות שאלות פעם נוספת וחישב את המתאם בין 2 המדידות, התקבל מתאם של 0.8

  1. איזו בדיקת מהימנות ביצע החוקר? הסבר במונחי שיטות תכונות

  2. האם ניתן לומר ש 80% משונות הציונים הנצפים משוחררת מרכיבים הטעויות האפשריים? נמק

  3. האם ניתן לומר ש 80% משונות הציונים הנצפים משוחררת מהטעויות הקשורות בתוכן הפריטים? נמק

  4. מהו מקור אפשרי לשונות האמיתי שהתקבלה במדידה הראשונה של שאלות זה?

  5. האם ניתן לומר ש 80 אחוז משונות הציונים הנצפים משוחררת ממצב רוחם של הנבדקים בעת המדידות? נמק

  6. מה ניתן לומר על אחוז הטעויות המקריות שקשורות לזמן.

ניסוח מלא של תשובות

א.

מדובר בבדיקה של תכונה אחת (כושר מנהיגות) לאותה קבוצה של נבדקים.

באמצעות שיטה אחת (שאלון סוציומטרי)

באותו נוסח המועבר בשני מועדים שונים

ולכן מדובר במהימנות כיציבות

ב.

בבדיקת מהימנות כיציבות מרכיבי הטעות המקרית של תוכן הפריטים והמעריך הם קבועים

ולכן הם לא נמדדים בבדיקה זו

מרכיב הטעות המקרית היחידה שמהמנות כיציבות רגישה אליו (=בודקת אותו/ מודדות אותו) זה שינוים בזמן

ולכן

לא ניתן לאמר ש 80% משונות הציונים משוחררת ממרכיבי הטעות האפשריים אלא רק מטעויות מקריות שנובעות משינויים בזמן.

ג.

לא.

תוכן הפריטים בבדיקה זו הוא קבוע.

ולכן סוג מהימנות זה לא בודק מרכיב טעות זה (= תוכן הפריטים).

ולכן לא מתקבלת כל אינפורמציה בבדיקה זו לטעויות הקשורות בתוכן

ד.

(השאלה שואלת ממה נבע ההבדלים האמיתיים במדידה הראשונה)

ההבדלים יכולים לנבוע במידת קיומה של התכונה הנבדקת (=כושר מנהיגות)

ה.

לא רק.

מצב רוח הוא אחד המרכיבים של שינויים בזמן אבל

קיימים מרכיבים נוספים שתלויים בזמן ולכן לא ניתן לאמר בוודאות ש 80% מהשונות משוחררת רק ממצב רוח של הנבדקים אלא מכלל הטעויות המקריות שקשורות לשינויים בזמן.

ו.

אפשר להגיד ש 20 אחוז מהשונות של הציונים הנצפים הם טעויות שקשורות לזמן.

שאלה 1 עמוד 4. תשובות:

א.

זהו מבחן כושר

וזאת בגלל שבודקים תכונות אישיות על הבטיהם השונים

(כתוב שאין הגבלת זמן ולפיכך זהו לא מבחן מהירות)

המבחנים הם הומוגניים

כל המבחנים הם הומוגניים בגלל שהם בודקים רק הבט ספציפי אחד למשתנה תיאורטי

ב.

C- זהו מבחן דימוי עצמי חברתי

S- זהו מבחן דימוי עצמי חברתי

(C ו S הם הבטים שונים של אותו דבר)

שאלונים S ו C בודקים את ההבט החברתי

לפיכך שאלון C ו S הם נוסחים מקבילים שבודקים אותו הבט של אותה תכונה

ולכן זהו סוג מהימנות כאקווילנטיות

ג.

G1 זהו שאלון שעוסק בדימוי עצמי בהבט גופני

G2 זהו שאלון שעוסק בדימוי עצמי בהבט גופני

G1 ו G2 זהו אותו שאלון שעוסק בהבט החברתי

שאלון שהועבר בפער של זמן

ולפיכך זהו מהימנות כיציבות

ד.

מהימנות כאקווילנטיות (נימוק כמו ב ב')

ה.

מדובר על מהימנות כעקיבות פנימית

מקדם המהימנות הוא ספירמן בראון

r12= 0.81

rs-b=(2*r12)/(1+r12)=(2*0.81/(1+0.81)=0.895

מקדם המתאם הוא 0.895

ו.

מדובר על מהימנות כעקיבות פנימית

מקדם המהימנות הוא אלפא של קורנבך

(=ממוצע מקדמי כל החלוקות האפשריות לשנים)

המתאם הוא 0.79 (באלפא של קורנבך אין צורך לערוך תיקון)

ז.

תוספת של קבוע לא משפיע על השונות

ולכן אין לתוספת קבוע שום השפעה על היחס בין השונויות

ולפיכך אין לו שום השפעה על מקדם המהימנות

המתאם מושפע מהשונות ולא מהתוספת של גודל קבוע

ולפיכך המתאם ישאר ללא שינוי

ח.

השופטים דירגו באופן בלתי תלוי

לפיכך מדובר בבדיקה מסוג מהימנות בין שופטים

ט.

עבור עוזר מחקר א'

המתאם יהיה אפס

וזאת כיוון שהידיעה של ערך של פסיכולוג אחד לא מוסיפה שום אינפורמציה לגבי הערך שהתקבל על ידי הפסיכולוג השני

(50% נתן ציון יותר גבוה

50% נתן ציון יותר נמוך

זה כל האופציות ולכן אין צמצום אפשרויות)

עבור עוזר מחקר ב'

המתאם יהיה אחד

וזאת מכיון שערך שנתן פסיכולוגי אחד נותן אינפורמציה מלאה לגבי הערך שנתן הפסיכולוג השני

י.

סולם סדר

יש חשיבות לסדר אך אין משמעות להפרשים וזה לא מנה

(כמעט תמיד מדובר בקורס שלנו על משתנה מסולם סדר)

יא.

הוספת קבוע חיובי- שומרת על הסדר- זוהי טרנספורמציה מותרת

הכפלה על ערך באפס- מאפסת את כל הפריטים- זוהי טרנספורמציה אסורה

הכפלת כל ערך באחד- שומרת על סדר הפריטים- טרנספורמציה מותרת

חלוקת כל ערך בעצמו- משווה כל ערך לאחד- יוצרת שוויון לכולם- טרנספורמציה אסורה

הוספת קבוע שלילי- לא משנה את הסדר- טרנספורמציה מותרת

הכפלת קבוע בשלילי- הופכת את הסדר- זוהי טרנספורמציה אסורה

יב.

לא רק

מזג האוויר הוא רק חלק מהשינויים שקשורים לזמן.

קיימים מרכיבים נוספים שתלויים בזמן ולכן לא ניתן לאמר בוודאות ש 75% מהשונות משוחררת רק ממצב רוח של הנבדקים אלא מכלל הטעויות המקריות שקשורות לשינויים בזמן.

תוקף

  • התוקף שואל עד כמה כלי המדידה שלי בודק את מה שרצינו לבדוק ואך ורק את התכונה שרצינו לבדוק (ולא שום דבר אחר).

  • במילים אחרות: התוקף שואל עד כמה כלי המדידה בודק את מה שהוא אמור לבדוק ולא משהו אחר

יש שלושה סוגים של תוקף

  1. תוקף תוכן

  2. תוכן ניבוי

  3. תוקף מבנה של כלי המדידה (החשוב ביותר בקורס זה)

תוקף תוכן

מהות

תוקף תוכן שואל עד כמה כלי המדידה ממצה את עולם התוכן של המשתנה התיאורטי

הליך הבדיקה/ הליך המיצוי

המיצוי מתבצע על ידי דגימה שיטתית של פריטים שונים שמייצגים את כל ההבטים השונים של המשתנה התיאורטי

הליך המיצוי יכול להתבצע רק באמצעות מומחים לנושא הנחקר (כלומר לתכונה הנחקרת)

  • עבורנו בקורס זה, תוקף תוכן הוא לא רלוונטי, כי אנחנו לא מומחים לשום תכונה

דוגמא:

אם ניקח משתנה: הצלחה בשיטות חקר א

כלי המדידה זהו המבחן בסוף הקורס

כדי להגיד שהמבחן הוא בעל תוקף תוכן אז צריך להיות במבחן ייצוג לכל יחידות הלימוד

תוקף ניבוי

תוקף הניבוי בודק את תוקף הניבוי של הכלי המנבא (= הקריטריון)

  • זוהי בדיקה של מתאם בין 2 שיטות שונות הבודקות אותה תכונה

  • שיטה אחת מכונה מנבא

  • שיטה שניה מכונה קריטריון

מנבא

זוהי מדידה עקיפה של התכונה הנחקרת

קריטריון

זוהי מדידה ישירה ומדויקת יותר של התכונה הנחקרת.

מטרת תוקף הניבוי

המטרה של תוקף הניבוי היא:

לחשב מתאם בין הציון שהתקבל במנבא לבין הציון שהתקבל בקריטריון

וזאת על מנת לבחון עד כמה הכלי המנבא שלי מצליח לנבא את הקריטריון

דוגמא

מנבא: פסיכומטרי

קריטריון: הצלחה בתואר ראשון

המטרה בתוקף הניבוי היא לבחון עד כמה הפסיכומטרי יצליח לנבא את ההצלחה בתוקף הניבוי

תשובה מנוסחת לדוגמא

מדובר בתוקף ניבוי

  • מחשבים מתאם בין 2 כלי מדידה שונים

  • אשר בודקים את אותה תכונה (למשל התאמה לקצונה)

  • באמצעות 2 שיטות שונות.

  • שיטה אחת זה המנבא (= שאלון סוציומטרי)

  • שיטה שניה זה הקריטריון (למשל דירוג של המפקדת הישירה)- זהו הקריטריון מכיוון שמדידה זו בודקת את התפקוד בפועל- ולכן כמובן בדיקה זו מדויקת יותר.

  • מטרת הבדיקה היא לבדוק את יכולת הניבוי של המנבא את הקריטריון

מתי משתמשים בתוקף ניבוי
  • תוקף הניבוי שימושי בעיקר (ובקורס שלנו תמיד) למטרות של מיון/ סינון מועמדים

  • או לקראת קורסי הכשרה למיניהם

  • או לצורך בחינת הצלחת לתפקיד מסוים

בדיקת תוקף ניבוי

בדרך כלל:

המנבא הוא מבחן קבלה כלשהו

הקריטריון הוא הצלחה בפועל בתפקיד/ קורס

הליך בדיקת תוקף ניבוי

כדי שיהיה אפשר לבדוק את יכולת הניבוי של המנבא:

  • נעביר לכולם מבחן קבלה

  • ללא קשר לציון במבחן הקבלה נכשיר את כולם בתפקיד/ נקבל את כולם לקורס

  • ניבחן את ההצלחה בפועל בתפקיד / הצלחה בפועל בקורס

  • המתאם בין ההצלחה בפועל לבין ציון במבחן הקבלה זהו תוקף הניבוי

התייחסות לגודל המתאם, עוצמת קשר
  • עוצמת הניבוי נמדדת על פי הפערים בין סיכוי ההצלחה

  • ככל שהפערים גדולים יותר כך תוקף הניבוי גבוה יותר.

  • כל מתאם ששונה מאפס (גם חיובי וגם שלילי) נותן לי אינפורמציה לגבי הקריטריון ולכן נאמר שלמנבא יש תוקף ניבוי ( כל עוד קיים מתאם בין המנבא לקריטריון יש תוקף ניבוי, כלומר כל עוד המתאם שונה מאפס יש תוקף ניבוי)

  • תוקף הניבוי יכול להיות שלילי או חיובי וזאת בהתאם לסוג הקשר בין המנבא לקריטריון

  • תוקף ניבוי 0.3 הוא יחסית נמוך

לנו חשובה עוצמת הקשר.

דוגמא:

אם התקבל עוצמת קשר 0.4 לעומת עוצמת קשר מינוס 0.8- אז עוצמת קשר -0.8 הוא בעל תוקף ניבוי גבוה יותר מעצמת ניבוי +0.4

קריאת תוקף ניבוי בדרך ממצאים של טבלת שכיחויות 2*2
  • לפעמים מבקשים מאתנו לקרוא תוקף ניבוי באמצעות טבלה 2*2

  • כלומר לא בדרך מתאם אלא דרך התכונות בטבלה.

תוקף ניבוי בדרך ממצאים של טבלת שכיחויות

קריטריון

הצלחה

כשלון

מנבא

הצלחה

15A

5B

20G

כשלון

10C

20D

30H

25 E

25F

Iסה"כ 50 נבדקים

הולכים לאוכלוסיית הקריטריון E, F

  • בקרב המצליחים כפי שנתקבל בקריטריון המבחן (מצליח) לנבא ל 25 = 60% ( A/E) (כלומר המבחן ניבא נכון סיכוי הצלחה )

  • בקרב הנכשלים כפי שנתקבל בקריטריון המבחן מנבא ל 5/25 = 20% ( B/F)

  • המנבא מצליח להבחין בין העוברים והנכשלים מבחינת סיכוי הצלחה

  • כלומר המבחן הוא דיאגנוסטי,

  • ומכאן שלמנבא יש תוקף ניבוי (כלומר המבחן יצר הבחנה בין סיכוי הצלחה של מצליחים לעומת נכשלים, כלומר ניבא יותר סיכוי הצלחה למצליחים שהצליחו בפועל),

  • במקרה זה תוקף הניבוי הוא בכיוון החיובי

2 דגם תשובה מליאה

החלטת המבחן- מנבא

מתאים

לא מתאים

ציון בקורס

קריטריון

הצליח

10A

6C

E16

נכשל

6B

D10

F 16

סה"כ

G16

H16

32 מועמדים

  • בקרב העוברים את הקורס כפי שנתקבל בקריטריון, המבחן מנבא (נכון) ל 63% סיכוי הצלחה

  • הסבר החישוב: מתייחסים לתאים A וE . המבחן ניבא הצלחה לעומת אלא שהצליחו באמת של: 10/16=63%

  • בקרב הנכשלים בקורס , כפי שהתקבל בקריטריון, המבחן מנבא (טעות) כישלון עבור אלא שהצליחו ל 27%

  • הסבר החישוב: מתייחסים לתאים B ו F. המבחן ניבא כישלון ל 6/16=37.5%

  • המנבא מצליח להבחין בין העוברים והנכשלים מבחינת סיכוי הצלחה

  • כלומר המבחן הוא דיאגנוסטי,

  • ומכאן שלמנבא יש תוקף ניבוי

  • תוקף הניבוי הוא בכיוון החיובי

תוקף מבנה

משתמשים במונח תוקף מבנה בכל אותם מקרים שבהם רוצים לתקף מכשיר מדידה שנועד למדוד משתנה תיאורטי.

מבנה = משתנה תיאורטי הכוונה לתכונה

מבנה נכנס לשימוש בעיקר כאשר התכונה שלנו (=המשתנה הנחקר) הוא משתנה מופשט שקשה להגדיר אותו אופרציונלית (לכן לא עושים תוקף תוכן כי קשה לעשות תוקף תוכן)

אנחנו מדברים על שיטות רבות שכל בדיקה עשויה לתמוך בתוקף המבנה של מכשירה המדידה או לערער אותו

תיקוף כלי המדידה

מפתחים כלי מדידה חדש שהמטרה שלו זה לבדוק את התכונה

הדרך שאנחנו מתקפים כלי מדידה חדש זה באמצעות 5 צעדים

  1. מהימנות כלי המדידה

  2. תוקף ניבוי

  3. חקר הבדלים בין קבוצות

  4. חקר מתאמים

  5. תוקף מתכנס ותוקף מבחין

1 - מהימנות כלי המדידה זה תמיד חייב להיות הצעד הראשון

2-5 לא משנה הסדר ביניהם

1 - מהימנות כלי המדידה

  • לפני בדיקת תוקף כלי המדידה יש לבדוק מהימנות

  • שורש המהימנות מהווה חסם עליון לתוקף

  • בשלב הראשון נבדוק שהכלי מדידה שלנו בודק משהו אמיתי ולא טעות מקרית (כלומר נבדוק את המהימנות)

  • בשלב השני נבדוק האם המשהו האמיתי הזה זה מה שאנחנו רוצים לבדוק ולא משהו אחר (כלומר נבדוק תוקף)

  • מהימנות זה מתאם בין כלי המדידה ובינו לבין עצמו:

  • בכל 4 סוגי המהימנות אנו בודקים קשר בין כלי המדידה בינו לבין עצמו כלומר המהימנות זה המתאם בין כלי המדידה לבין עצמו לבין עצמו

  • תוקף זה מתאם בין 2 שיטות שונות

שורש המהימנות הוא החסם העליון לתוקף
  • תוקף לא יכול להיות גבוה יותר מהשורש של מקדם המהימנות

  • לפיכך נבדוק בתחילה את מהימנות כלי המדידה.

  • אם מהימנות כלי המדידה נמוכה (מתחת ל 0.8) אזי בהכרח התוקף יהיה נמוך יותר ולכן אין טעם להשתמש בכלי המדידה

כלומר אם כלי המדידה שלי הוא תקף בהכרח הוא מהימן

אך לא נכון להגיד שאם הכלי הוא מהימן הוא בהכרח תקף

לאחר שבדקנו שהכלי הוא מהימן אז נגיע לסעיפים 2-5

2-5 סוגים של תוקף מבנה של כלי המדידה

תוקף ניבוי, חקר הבדלים בין קבוצות, חקר מתאמים, תוקף מתכנס ותוקף מבחין

2. תוקף ניבוי

  • תוקף ניבוי הוא גם בקטגוריה של תוקף (תוקף תוכן, תוקף ניבוי, תוקף מבנה)

  • וכן תוקף ניבוי הוא בתת קטגוריה של תוקף מבנה.

ההסבר המלא לתוקף ניבוי נמצא בעמודים הקודמים תחת הנושא של סוג תוקף

3. חקר הבדלים בין קבוצות

  • בוחרים 2 אוכלוסיות אשר ידוע מראש שהן נבדלות באופן משמעותי בתכונה הנחקרת.

  • לפיכך, תנאי הכרחי לתוקף של כלי המדידה זה שהוא חייב להראות שקיימים הבדלים בין ממוצעי הקבוצות (אוכלוסיות) בתכונה שנחקרה

דוגמא

נניח שאנחנו רוצים לתקף שאלות אסרטיביות

  • נבחר 2 אוכלוסיות:

  • מדגם מנהלים בכירים

  • מדגם פועלי ייצור

  • קיימת ציפייה מראש וברורה מאליה שמנהלים בכירים, בממוצע, הם אסרטיביים יותר מאשר פועלי יצור.

  • אם פתחנו שאלות שאמור לבדוק אסרטיביות הוא חייב, כתנאי הכרחי, להראות שקיימים הבדלים בין הקבוצות בשאלות הזה.

תשובה מנוסחת בנוגע לחקר הבדלים בין קבוצות במונחים של שיטות / תכונות
  • זוהי בדיקה של תוקף מבנה מסוג חקר הבדלים בין קבוצות

  • כיוון שנעשה ניסיון לבדוק את אותה תכונה (אסרטיביות)

  • באמצעות שתי שיטות שונות:

  • השיטה הראשונה זה השיוך הקבוצתי כפי שמתרחש במציאות (פועלי יצור מול מנהלים)

  • השיטה השנייה זה כלי המדידה. (שאלון חדש)

  • וכיוון שקימת ציפייה מראש להבדלים בין ממוצעי הקבוצות (שמנהלים יקבלו ממוצע גבוה יותר מפועלי יצור)

  • אזי כלי המדידה, כתנאי הכרחי לתקפות, חייב להראות הבדלים בין ממוצעי הקבוצות בכיוון המצופה

תוצאה רצויה ולא רצויה

אנחנו מבחינים בין תוצאה רצויה ללא רצויה:

תוצאה רצויה
  • ימצאו הבדלים בין ממוצעי הקבוצות בכיוון המצופה

  • בהתייחסות לדוגמא שלנו, הציון שקיבלו המנהלים גבוה מהציון שקיבלו מפעלי היצור.

כל תוצאה רצויה מחזקת את התוקף של כלי המדידה שלנו

תוצאה לא רצויה
  • או שימצאו הבדלים בכיוון המנוגד למצופה

  • או שלא ימצאו הבדלים בין ממוצעי 2 הקבוצות

  • במקרים אלה קיימת החלשה לתוקף המבנה של כלי המדידה (למשל השאלון)

הערה: השיוך הקבוצתי נחשב לשיטה ולא למשתנה נוסף

השיוך הקבוצתי נחשב לשיטה ולא למשתנה נוסף וזאת מכיוון שההנחה היא שהשיוך הקבוצתי זוהי הגדרה אופרציונלית למשתנה התיאורטי (במקרה שלנו אסרטיביות) וזאת מכיוון שבאופן טבעי אנשים בוחרים מקצוע שמתאים לרמת קיומה של תכונה כזאת או אחרת.

4. חקר מתאמים

  • חקר מתאמים זהו ניסיון לבחון קשר בין 2 משתנים שונים

  • כלומר זהו ניסיון לבחון קשר בין 2 תכונות שונות

א

  • בניגוד לחקר הבדלים בין קבוצות, בחקר מתאמים תמיד מתווסף משתנה תיאורטי נוסף

  • כאשר המטרה היא לבדוק/ לבחון את הקשר ביניהם (בין התכונה הנחקרת- משתנה אחד- לבין המשתנה התיאורטי הנוסף)

  • ולכן לא קיימת ציפייה מראש וברורה מאליה לכיוון קשר מסוים.

ב

  • התוצאות תלויות בתיאוריה (=ציפיות) של החוקר (= התיאוריה שהחוקר הגה

  • הציפיות של החוקר (= התיאוריה של החוקר) עלולות להיות מוטעות

ג

  • לפיכך לא ניתן להבחין בין תוצאה רצוי לבין תוצאה בלתי רצויה

  • רק כאשר נאמר לנו מה היו הציפיות של החוקר (התיאוריה של החוקר) רק אז נוכל להבחין בין תוצאה רצויה לבין תוצאה לא רצויה.

לדוגמא

עבור שאלות אסרטיביות שאנחנו מפתחים. ניקח 2 קבוצות

  1. קבוצה של נערים מתבגרים

  2. מבוגרים בגילאים 35-45

  • במקרה זה לא קיימת ציפייה מראש שקבוצה אחת תהיה יותר אסרטיבית מהשניה

  • ולכן מדובר בבדיקה של חקר מתאמים (ולא חקר הבדלים בין קבוצות)

  • וזאת כיוון שמה שהחוקר מנסה לבחון זה אם קיים קשר בין גיל לבין אסרטיביות.

כלל אצבע בקורס שלנו
  • בכל פעם כשמתבצעת בדיקה בין גברים לבין נשים, ולא משנה מה הקבוצה, תמיד יהיה מדובר בבדיקה מסוג חקר מתאמים

  • כשהניסיון זה לבדוק קשר בין מין לבין תכונה כלשהי

דגם תשובה
  • זוהי בדיקה של תוקף מבנה מסוג חקר מתאמים

  • וזאת כיוון שנעשה פה ניסיון לבחון את הקשר בין 2 תכונות שונות (= 2 משתנים שונים) (למשל מין ואסרטיביות)

  • באמצעות שיטה אחת או שיטות שונות. (למשל שאלון אסרטיביות ושאלון..)

  • וזאת כאשר לא קיימת ציפייה מראש לכיוון של קשר מסוים, וכיוון קשר מסוים תלויה בתיאוריה של החוקר.

5. תוקף מתכנס ותוקף מבחין

  • השונות האמיתית של הציונים בכלי המדידה נחלקת לשניים:

  1. שונות תכונה

  2. שונות שיטה

א. שונות תכונה

זה ההבדלים הבין אישיים האמיתיים במידת קיומה של התכונה הספציפית שנחקרה

ב. שונות שיטה

זה הבדלים אמיתיים בין אישים באופן שבו הנבחנים מגיבים לשיטה הכללית שנבחרה לבדוק את אותה תכונה.

דוגמא 1

אם השיטה היא מבחן אז ידוע שאנשים מגיבים באופן שונה לסיטואציות מבחנים:

  • יש כאלה שחרדים יותר

  • יש כאלה שחרדים פחות

התגובה הזאת היא דפוס שמאפיין את הנבדקים בדרך כלל ללא קשר לתכונה הספציפית שנחקרה

( זהו הבדל אמיתי בין הנבדקים)

דוגמא 2

אם השיטה היא שאלון. ידוע שאנשים נבדלים באופן שבו הם ממלאים שאלונים:

  • יש אנשים שנוטים לקצוות הקיצונים וזאת ללא קשר לתכונה הנחקרת

  • יש את האנשים המתונים- הלא מתחייבים, גם ללא קשר לתכונה הנחקרת

בעיה: שונות שיטה או שונות תכונה

כאשר אני מוצא דמיון בין 2 מדידות שלי אני עדיין לא יכול לדעת האם הדמיון נובע משונות השיטה או משונות התכונה

הדרך להבחין ביניהם זה באמצעות תוקף מתכונן ותוקף מבחין.

5 א - תוקף מתכנס
  • תוקף מתכנס מחשב מתאם בין 2 כלי מדידה שונים

  • שני כלי המדידה השונים בודקים את אותה תכונה (תכונה אחת), באמצעות 2 שיטות שונות.

  • אם נמצא מתאם גבוה בין שני כלי המדידה השונים, אז המתאם, בהכרח, נובע משונות התכונה ולא שונות השיטה.

נוסח תשובה לדוגמא

1) מדובר בתוקף מבנה מסוג תוקף מתכנס

  • מדובר בתוקף מבנה מסוג תוקף מתכנס מכיוון ש

  • חושב המתאם בין 2 כלי מדידה שונים

  • אשר בודקים את אותה תכונה (נטיה לקחת סיכונים)

  • באמצעות 2 שיטות שונות:

  • שיטה א' שאלון דיווח עצמי

  • שיטה ב' שאלון הערכה של בן/ בת זוג

  • ( לא התגלה לאף אחת מהשיטות שיוך קבוצתי- כי אז היינו אומרים שזה חקר הבדלים בין קבוצות,

  • כמו כן זה לא תוקף ניבוי)

  • מתאם חיובי גבוה בין 2 בדיקות אלה הוא כיוון התוצאה הרצוי על מנת לחזק תוקף מבנה ( 0.65 נחשב למתאם גבוה לתוקף מתכנס, זוהי תוצאה רצויה לחוקר)

תוצאה רצויה ותוצאה לא רצויה
  • בתוקף מתכנס מבחינים גם בין תוצאה רצויה לתוצאה לא רצויה, וזאת מכיון שאנחנו בודקים את אותה תכונה בטכניקות שונות.

  • הציפייה שיתקבל מתאם חיובי גבוה בין 2 המדידות האלה.

גודל המתאם
  • נהוג לראות תוצאה רצוי בכל תוצאה (מתאם) בין 0.4 ל 0.8

מתאם גבוה?

  • המחסום של המתאם בין שתי השיטות השונות זה שורש המהימנות של כלי המדידה (מהימנות חסם עליון של כלי המדידה)

  • אם המתאם יוצא יותר גבוה זה גם בעיה, כי אז לא לגמרי מדובר בשתי שיטות שונות, יתכן שזוהי אותה שיטה ואותה תכונה (מהימנות)

מתאם נמוך:

  • אם המתאם בין שתי השיטות השונות נמוך מידי אז זה בעיה מכיון שאז שתי שיטות המדידה לא בודקות את אותה תכונה.

בדיקת מניפולציה - שייך לתוקף מבנה של כלי המדידה יחידה 3- נאמר בהקשר של יחידה 6 תוקף מבנה של מערך מחקר

(זהו מושג חשוב)

  • זהו מושג שקשור לתוקף מבנה של כלי המדידה

  • בדיקת מניפולציה זהו אמצעי שקיים לחוקר על מנת לאמת שהמניפולציה עבדה כמו שצריך

  • כלומר שהמשתנה הבלתי תלוי תצפיתי (המניפולציה) אכן י צרה את הערכים השונים במשתנה הבלתי תלוי התיאורטי.

  • הדרך לעשות בדיקת מניפולציה זה כאשר החוקר בודק את המשתנה הבלתי תלוי בשיטה נוספת, וכך הוא יכול לוודא שאכן התקבלו הערכים הרצויים במשתנה הבלתי תלוי.

דוגמא
  • מב"ת : מצב רוח

  • מב"ת תצפיתי: השמעת סיפורים שונים שנבדקים במצב רוח שהם יוצרים

  1. סיפור שמח- מצב רוח טוב

  2. סיפור נטרלי- מצב רוח נטרלי

  3. סיפור עצוב- מצב רוח רע

  • החוקר שואף, בעקבות המניפולציה (השמעת הסיפורים) ליצור מצבי רוח

  • בדיקת מניפולציה יכולה להיות אם במקביל נאמר לנו שהחוקר העביר לכל קבוצה שאלון מצב רוח- שזוהי שיטה נוספת לבדוק את השמנתה הבלתי תלוי התיאורטי

  • בבדיקת מניפולציה אנחנו מבחינים בין תוצאה רצוי לתוצאה לא רצויה.

תוצאה רצויה תוצאה לא רצויה

תוצאה רצויה

  • אלא שסיפרנו להם סיפור שמח יהיו במצב רוח טוב וכד'

  • כלומר שתהיה התאמה בין המניפולציה לשיטה הנוספת

  • אם קיבלנו תוצאה רצויה אז זה אומר שהמניפולציה עבדה

  • כלומר הסיפורים השונים יצרו שינוים במצבי רוח שונים.

תוצאה לא רצויה

  • אלא שסיפרנו להם סיפור שמח יהיו במצב עצוב וההפך

  • כלומר שלא תהיה התאמה בין המניפולציה לשיטה הנוספת

  • אם קיבלנו תוצאה לא רצויה אז זה אומר שהמניפולציה לא עבדה

  • כלומר הסיפורים השונים לא יצרו שינוים במצבי רוח שונים.

פירוט על בדיקת מניפולציה-

בדיקת מניפולציה בודקת האם התצפיתי אכן בודק את התיאורטי

  • בדיקת מניפולציה לא בודקת האם הבלתי תלוי השפיע על התלוי

  • בדיקת מניפולציה בודקת האם התצפיתי אכן בודק את התיאורטי (האם הסיפורים אכן יוצרים מצבי רוח שונים)

  • כלומר אם המניפולציה עבדה כמו שצריך

  • בדוגמא שלנו, האם שלושת הקבוצות נבדלו במצב רוח (ולא אם תוצאות שונות משפיעות על דחף להגיש עזרה)

בדיקת מניפולציה זהו סוג של תוקף מתכנס

  • למעשה בדיקת מניפולציה בודקת את הקשר בין שני תצפיתיים שונים על אותו תיאורטי:

  • מניפולציה = סיפוקים

  • שיטה נוספת למדידת הבלתי תלוי התיאורטי (למשל שאלון מצב רוח)

  • בדוגמת הקפה, אפשר כבדיקת מניפולציה לבדוק בדיקת דם.

  • זוהי בדיקת מניפולציה (כי באמצעות בדיקת הדם אפשר לבדוק האם בעקבות כוסות הקפה נוצרו הבדלים ברמות הקפה בדם)

5 ב- תוקף מבחין
  • זוהי בדיקה של מתאם של 2 מדידות שונות

  • שבודקים באמצעות אותה שיטה, שתי תכונות דומות

  • המטרה של הבדיקה הזאת היא לבדוק האם כלי המדידה מצליח להבחין בין 2 תכונות דומות

דוגמא

ניקח שתי תכונות קרובות אך לא זהות:

  • דימוי עצמי

  • ערך עצמי

הציפייה בתוקף מבחין שיתקבל מתאם נמוך בין 2 התכונות הדומות.

כלומר שכלי המדידה מצליח להבחין בין 2 תכונות דומות.

ניסוח תשובה

מדובר בתוקף מבנה מסוג תוקף מבחין

  • מדובר בתוקף מבנה מסוג תוקף מבחין מכיוון ש

  • זוהי בדיקה של מתאם של 2 מדידות

  • שבודקים באמצעות אותה שיטה (שאלון)

  • 2 תכונות שונות (תוקפנות ונטיה לקחת סיכונים)

  • המטרה של הבדיקה הזאת היא לבדוק האם כלי המדידה מצליח להבחין בין 2 תכונות דומות

גודל המתאם (עד כמה נמוך צריך להיות המתאם של 2 כלי מדידה שונים?
  • תוקף מבחין צריך להיות נמוך יותר מתוקף מתכנס

  • (להזכיר תוקף מתכנס בודק את אותה התכונה)

  • אם בדקנו שאלון דימוי עצמי מול ערך עצמי, או דכדוך מול דיכאון, או אסרטיביות מול תוקפנות/ תקיפות, או פחד (פוביה) מול חרדה או קונפורמיות מול ציות לסמכות, אז מדובר בתוקף מבחין (כל ההשוואות האלה הן דומות אבל שונות (לשינוי במילה יש משמעות))

  • אם אנחנו בודקים שאלון דימוי עצמי מול שאלון חרדה, או שאלון קונפורמיות מול שאלון דימוי עצמי אז לא מדובר בתוקף מבחין, ומדובר בחקר מתאמים

השוואה בטבלה בין תוקף מתכנס לבין תוקף מבחין (מהספר)

גורם ההשוואה

תוקף מתכנס

תוקף מבחין

1. באיזה מרכיב של השונות האמיתית הוא מטפל

שונות השיטה

שונות התכונה

2. לצורך בדיקת התוקף מודדים

אותה תכונה בשיטות מדידה שונות

תכונות שונות באותה שיטת מדידה או בשיטות מדידה שונות

3. תוקף גבוה דורש מתאם

גבוה

נמוך

תכונה אחת 2 שיטות שונות- איך מבחינים
  • תוקף מתכנס

  • תוקף ניבוי

  • חקר הבדלים בין קבוצות

איך מבחינים ביניהם?

כשיש 2 שיטות שונות אז:

  1. תוקף מתכנס

  2. אם התגלה לאחת השיטות שיוך קבוצתי אז נחשוב שזה חקר הבדלים בין קבוצות

  3. אם יתגלה בעצם ש

  1. אחת זה מדידה עקיפה של התכונה

  2. שניה זוהי הצלחה בפועל של התכונה המשותפת

ומטרת הבדיקה היא לצורך מיון או סינון

אז זה הופך להיות תוקף ניבוי ואז קיימת הבחנה בין מנבא לבין קריטריון

סוגי תוקף מבנה של כלי המדידה

סוג תוקף

שיטה

תכונה

הערות

תוקף מתכנס

2 שיטות שונות

תכונה אחת

שאלון שמולא על ידי עמית לעבודה/ ממונה/בין זוג/ דיווח עצמי- השוואה של כל שניים מהם- מדובר בשיטו שונות.

- תוצאה רצויה: תוקף מתכנס גבוה= מתאם חיובי גבוה בין שני כלי המדידה, שכן מדובר ב 2 טכניקות שונות שאמורות לבדוק בדיוק את אותה תכונה ולכן נצפה לקבל תוצאות דומות

תוקף מבחין

בדרך כלל שיטה אחת (לפעמים שיטות שונות)

2 תכונות דומות

המטרה לבחון האם כלי מדידה שונים הבודקים תכונות דומות מצליחים להבחין או להבדיל ביניהן, או שהמתאם בין שני כלי המדידה גבוהה. כלומר ששני הכלים בודקים את אותה תכונה (לא מצליחים להפריד בין 2 התכונות הדומות)

- תוצאה רצויה= תוקף מבחין גבוה: יכולת הבחנה גבוהה: מתאם בינוני עד נמוך (נמוך יותר מתוקף מתכנס)

תוקף ניבוי

2 שיטות שונות:

שיטה 1: מנבא

שיטה 2: קריטריון

תכונה אחת

מטרת הבדיקה היא לנבא הצלחה בתפקיד או קורס הכשרה (מיוד מועמדים), כשבודקים את המתאם (קשר סטטיסטי) בין המנבא (מדידה עקיפה של התכונה המבוקשת) לבין הקריטריון (מדידה ישירה ומדויקת יותר) וזאת כדי לבחון את היכולת הניבוית של המנבא את הקריטריון. מתאם אפס= ניחוש מקרי= אין תוקף ניבוי למנבא= לא מצליח להבחין בין אוכ' שונות בקריטריון. מתאם שונה מאפס (חיובי או שלילי) = יש תוקף ניבוי: המנבא נותן אינפורמציה כלשהי על הקריטריון מעבר לניחוש מקרי, כלומר מצליח להבחין בין אוכלוסיות שונות בקריטריון (מבחינת סיכויי ההצלחה)

חקר מתאמים

שיטה אחת או שיטות שונות

2 תכונות שונות

חקר מתאמים שונה מתוקף מבחין כי מדובר בתכונות שונות והמטרה היא לבחון את הקשר בין שני משתנים שונים. האם תוצאה תחזק או תחליף את תוקף המבנה של כלי המדידה? תלוי במה שהתיאוריה מנבאת, אין זה הכרחי ולא מובן מאליו, גם אם קיימת צפיה לחוקר היא עלולה להיות מוטעית

כשבוחנים הבדלים בין גברים לנשים (הבדלים בין המינים) על פני כל משתנה שהוא, אז תמיד מדובר בחקר מתאמים- קשר בין מין לתכונה נחקרת.

חקר הבדלים בין קבוצות

2 שיטות שונות.

שיטה 1: השתייכות קבוצה כפי שמתקיימת במציאות

שיטה 2: כלי המדידה

תכונה אחת

קיימת צפיה מראש להבדלים בין ממוצעי האוכ' השונות בתכונה הנמדדת ולכן כלי המדידה X חייב כתנאי הכרי להראות שיש הבדל, שכן ההשתייכות הקבוצתית מהווה הגדרה אופרציונלית של אותו מבנה תיאורטי שכלי המדידה אמור לבחון.

- תוצאה רצויה :ההבדלים בין ממוצעי הקבוצות בכיוון המצופה.

- תוצאה לא רצויה: ההבדלים בין ממוצעי הקבוצות בכיוון המנוגד או שלא ימצאו הבדלים בין הקבוצות (סוג העסיק נחשב תמיד להשתייכות קבוצתית)

  • תוצאה רצויה: תוצאה שמחזקת את תוקף המבנה של כלי המדידה

  • תוצאה לא רצויה: תוצאה שמחלישה את תוקף המבנה של כלי המדידה

הקשר שבין תוקף למהימנות

הבדל שבין תוקף למהימנות הוא:

במהימנות תמיד בודקים את אותה תכונה באמצעות אותה שיטה (שופטים, נוסחים מקבילים, 2 מועדים)

התוקף הוא בהכרח מתאם בין שיטות שונות (2 כלי מדידה שונים)

שיטות שונות (תוקף):

כל ארבעת השיטות נחשבות שיטות שונות זו מזו:

  • מבחן

  • ראיון

  • תצפית

  • שאלון (דיווח עצמי, הערכת האחר).

  • גם שאלון דיווח עצמי ושאלון הערכת האחר אילו הן שיטות שונות זו מזו

כלל אצבע: "מפתיע"

כשכתוב "האם מפתיע אותך.." מדובר בהשוואת תוקף למהימנות. התוקף צריך להיות קטן מהמהימנות

  • שורש המהימנות מהווה חסם עליון לתוקף

  • ולכן נצפה שהמהימנות תהיה גבוהה יותר מאשר התוקף

  • אם התקבל שערך התוקף (0.65) קטן מערך המהימנות (0.75) אז נגיד שהממצא לא מפתיע כי התקבל תוקף שהוא נמוך מהימנות כפי שהיינו מצפים

אין תגובות:

הוסף רשומת תגובה