שיטות מחקר א: יחידה 3 שאלות לתרגול

שאלות תרגול

שאלה 3 עמוד 5 - מהימנות

א- ניסוח מלא של תשובה

• נעשה בדיקה של תוקף מבנה מסוג חקר הבדלים בין קבוצות

• כיוון שנעשה ניסיון לבדוק את אותה תכונה (כושר ביטוי בעברית)

• באמצעות שתי שיטות שונות

• כשאחת מהן זה השיוך הקבוצתי כפי שמתקיים במציאות (=ילידי הארץ מול עולים חדשים)

• והשיטה השניה זה כלי המדידה (=שאלון חדש)

• כיוון שקיימת ציפייה מראש שילידי הארץ יקבלו ציון ממוצע גבוה יותר מעולים חדשים

• אז כתנאי הכרחי לתקפותו של השאלון החדש הוא חייב להראות הבדלים בין ממוצעי הקבוצות האלה, בכיוון המצופה.

ב. ניסוח מלא של תשובה

• זוהי בדיקה של תוקף מבנה מסוג חקר מתאמים

• כיוון שעשה פה ניסיון לבחון את הקשר בין 2 תכונות (משתנים) שונות (שהן מין וכושר ביטוי בעברית)

• כאשר לא קיימת ציפייה מראש לכיוון של קשר מסוים, וכיון של קשר מסוים תלויה בתיאוריה של החוקר

שאלה 4 עמוד 6 - מהימנות

א. ניסוח מלא של התשובה (לא כולל הערה בסוגרים בתחילת התשובה)

• הבדיקה שנעשתה היא תוקף מבנה מסוג חקר מתאמים

• כיוון שנעשה ניסיון לבחון את הקשר בין 2 תכונות שונות (= 2 משתנים שונים)

1. אינטליגנציה

2. חוש הומור

• באמצעות שיטה אחת (שאלון שבודק חוש הומור)

• וזאת כאשר לא קיימת ציפייה מראש לכיוון קשר מסוים

• אם נמצא שאין הבדל בין הקבוצות

• הדבר לא אומר דבר על תוקף המבנה של השאלון, וזאת כל עוד לא ידוע לנו התיאוריה של החוקר (= מצה היו הציפיות של החוקר)

(

לא מדובר בחקר הבדלים בין קבוצות

• וזאת בגלל שאין ציפייה מראש וברורה מאליה אז אי אפשר לדעת שיש קשר

• בנוסף התווסף משתנה תיאורטי נוסף (אינטליגנציה) ואין סיבה לחשוב שיש קשר הדוק בין אינטליגנציה לחוש הומור).

)

ב. ניסוח מלא של התשובה

• מדובר בבדיקה של תוקף מבנה מסוג חקר הבדלים בין קבוצות

• וזאת כיון שנעשה פה ניסיון לבדוק את אותה תכונה (= חוש הומור) בשתי שיטות שונות:

1. שיוך קבוצתי כפי שמתרחש במציאות (קומיקאים מול פקידי מס הכנסה)

2. שאלון חוש הומור

• כיוון שקיימת ציפייה מראש (וברורה מאליה) שהציון הממוצע של הקומיקאים בשאלון חוש הומור יהיה גבוה מהציון הממוצע של פקידי מס הכנסה

• אז כתנאי הכרחי לתקפות השאלון, השאלון חייב להראות המצאותם של הבדלים אלה.

• אם לא נמצא הבדל בין 2 הקבוצות האלה

• אז זוהי תוצאה לא רצוי לחוקר- בניגוד לציפיות שלו

• ולכן קיימת החלשה לתוקף המבנה של השאלון.

שאלה 2 עמוד 5

א. - תוקף מתכנס- ניסוח מלא של תשובה

1) מדובר בבדיקה של תוקף (לא מדובר בבדיקה של מהימנות מכיוון שכאשר יש הערכה של אחר מול הערכה של עצמי מדובר בשתי שיטות שונות)

2) זוהי בדיקה של תוקף מתכנס וזאת מכיוון ש

נעשה ניסיון לבדוק את המתאם בין 2 כלי מדידה שונים

אשר בודקים את אותה תכונה (מידת התאמה לקצונה/ יכולת מנהיגות ) וזאת באמצעות 2 שיטות שונות

• שאלון דיווח עצמי - הערכה עצמית

• שאלון סוציומטרי

ב.- מהימנות כיציבות

1) מדובר בבדיקה של מהימנות מסוג מהימנות של יציבות

(אותה שיטה, אותה תכונה בשני מועדים שונים)

2) חושב המתאם בין 2 ניסיונות לבדוק את אותה תכונה (מידת התאמה לקצונה) באמצעות אותה שיטה (שאלון דיווח עצמי) לאותה קבוצה של נבדקים, בשני מועדים שונים

3) לא

בדיקת מהימנות כיציבות בודקת אך ורק את מרכיב הטעות המקרית של הזמן

כיוון שמרכיבים אחרים של טעויות מקריות כגון תוכן, מעריך הם קבועים בבדיקה זאת ולכן הם לא נמדדים

ולפיכך לא מתקבלת אינפורמציה של כל סוגי המקורות האפשריים לטעות

ג. - תוקף מתכנס

1) מדובר בתוקף (יש פה שתי שיטות שונות)

2) מדובר בתוקף מתכנס

(לא מדובר בחקר מתאמים כי מדובר באותה קבוצה.

ההתלבטות היא בין תוקף מתכנס, לבין תוקף ניבוי)

מדובר בבדיקת המתאם בין 2 כלי מדידה שונים

הבודקים את אותה תכונה (מידת התאמה לקצונה)

באמצעות 2 שיטות שונות (סוציומטרי מול הערכת מפקדת)

(לא מדובר בתוקף ניבוי כי אין סיבה לחשוב שהשיטות נבדלות ברמת הדיוק שלהן)

ד. - תוקף ניבוי- ניסוח מלא של התשובה

1) מדובר בתוקף ניבוי

2) תוקף ניבוי

פה אנחנו מחשבים מתאם בין 2 כלי מדידה אשר בודקים את אותה תכונה (התאמה לקצונה), באמצעות 2 שיטות שונות.

• שיטה אחת זה המנבא (= שאלון סוציומטרי)

• שיטה שניה זה הקריטריון (דירוג של המפקדת הישירה)- זהו הקריטריון מכיוון שמדידה זו בודקת את התפקוד בפועל- ולכן כמובן בדיקה זו מדויקת יותר.

מטרת הבדיקה היא לבדוק את יכולת הניבוי של המנבא את הקריטריון

שאלה 5 עמוד 6

א- מהימנות בין שופטים-ניסוח מלא של תשובה

1) בדיקת מהימנות

2)

• נעשה ניסיון לבדוק מתאם של אותה תכונה (= כושר כתיבת תוכנית מחשב)

• לאותה קבוצה של נבדקים

• באמצעות אותה שיטה (מבחן)

• על ידי מומחים (=שופטים)

• ולכן מדובר בבדיקת מהימנות בין שופטים

3)- ניסוח מלא של תשובה

לא

• בבדיקה זו הזמן הוא קבוע

• ולכן בדיקה זו לא רגישה (= לא בודקת) טעויות מקריות שקשורות לזמן

• ולכן לא מתקבלת כל אינפורמציה על מרכיב הטעות המקרית שקשורה לזמן

ב

1) מהימנות כיציבות

2) מדובר בבדיקה של מהימנות כיציבות כי יש 2 מועדים שונים

3) המקור האפשרי לשונות האמיתי בציוני הנבדקים הוא ההבדלים הבין אישים האמיתיים במידת קיומה של התכונה שנבדקה (= כושר כתיבת תוכנית מחשב)

(למעשה גם שונות השיטה היא מקור להבדלים הבין אישים האמיתיים- כלומר איך מגיבים לסיטואצית מבחנים)

ג

1) מדובר בתוקף ניבוי

2)

• יש פה בדיקת מתאם של 2 כלי מדידה

• אשר בודקים את אותה תכונה (= כושר כתיבת תוכניות מחשב)

• באמצעות שתי שיטות שונות

• שיטה אחת זה המנבא (= מבחן קבלה)

• שיטה שניה זה הקריטריון (זהו הציון בסוף הקורס)- זוהי בדיקה בפועל של מה שרצינו לבדוק ולכן יותר מדויקת ממבחן מיון

• ולכן לא מדובר מתוקף מתכנס אלא תוקף ניבוי.

3)

• כל עוד קיים מתאם בין המנבא לקריטריון יש תוקף ניבוי, כלומר כל עוד המתאם שונה מאפשר יש תוקף ניבוי

• תוקף הניבוי הוא חיובי (בגלל שהתקבל מתאם חיובי)

• תוקף הניבוי 0.3 הוא יחסית נמוך

ד

1) מתאם נמוך בין:

• כמות תוכניות

• הערכת ממונים

מדובר בתוקף מתכנס (2 שיטות לבדיקת אותה תכונה)

2) מתאם גבוה בין

• כמות תוכניות

• ציון בסוף הקורס

מדובר בתוקף ניבוי (מבחן אחד הוא קריטריון= כמות תוכניות) והשני הוא ציון בסוף קורס מנבא)

3) מתאם נמוך בין

• הערכות הממונים

• ציון בסוף הקורס

מדובר בתוקף ניבוי (הערכה של ממנוה הוא ציון בפועל, לעומת ציון בסוף הקורס שזה המנבא)

2)

• המבחן בסוף הקורס מצליח לנבא טוב את כמות התוכניות

• המבחן בסוף הקורס לא מצליח לנבא טוב את הערכת הממונים

• מכיון שהמתאם בין הערכת הממונים וכמות התוכניות הוא נמוך הדבר אומר שאנחנו לא בודקים את אותה תכונה

• ולמעשה הציון בסוף הקורס מצליח לנבא רק את כמות התוכניות

האם זה הגיוני?

כן,

• הציון בסוף הקורס מתאר ידע טהור וכך גם כמות התוכניות

• הערכה של ממונים זה מדד סוביקטיבי, ובמדד סוביקטיבי יש מוטיבציות זרות כגון:

• יחסי אנוש

• מרכיבים שיכולים להשפיע על הערכה של ממונה ולא יכולים להצביע באופן ולא יכולים להשפיע על כושר כתיבת התוכניות

ה

• נכון= עבר

• לא נכון = נכשל

• יש חשיבות לסדר, עבר יותר גבוה מנכשל

• כיוון שיש סדר לערכים האלה אז זהו סולם סדר ולא סולם שמי

ן

1) בדיקת תוקף

2)

• זוהי בדיקת תוקף מבנה מסוג חקר הבדלים בין קבוצות

• יש ניסיון לבדוק את אותה תכונה (כושר תכנות)

• באמצעות 2 שיטות שונות

• השיטה הראשונה זה שיוך קבוצתי כפי שמתקיים במציאות (סטודנטים למחשבים מול סטודנטים למדעי הרוח)

• שיטה שניה זה מבחן תכנות

• וכיוון שקיימת ציפיה מראש שבסטודנטים למחשבים יקבלו ציון גבוה יותר, בממוצע, מסטודנטים למדעי הרוח

• אי כתנאי הכרחי לתקוף המבחן הוא חייב להראות את ההבדלים האלה.

3)

תוצאה רצויה / לא רצויה

• אם ממוצע הציונים של הסטודנטים למחשבים יהיה גובה יותר מהסטודנטים למדעי הרוח זוהי תוצאה רצוי שמחזקת את תוקף כלי המדידה

• אם נימצא, חלילה, שסטודנטים למדעי הרוח מקבלים ציון גבוה יותר בממוצע מסטודנטים למחשבים או אם נקבל שאין הבדל בין מממוצעי שתי הקבוצות הללו אז זוהי תוצאה לא רצויה וזה מחליש את תוקף המבחן.

שאלה 6 עמוד 7

א - מהימנות בין שופטים

1) מהימנות בין שופטים

2)

• נעשה ניסיון לבדוק מתאם של אותה תכונה (= מידת התאמה לכדורסל)

• לאותה קבוצה של נבדקים

• באמצעות אותה שיטה (מבחן קבלה)

• על ידי 2 מומחים (=שופטים)

• ולכן מדובר בבדיקת מהימנות בין שופטים

3)

• אנחנו הולכים לטבלה כדי לבדוק את אחוזי ההסכמה:

• סה"כ 32 מועמדים

• אחוזי הסכמה בין שני המומחים: (13+15)/32 = 28/32= 87.5%

• אחוזי ההסכמה גבוהים ולכן המהימנות בין שופטים בכלי מדידה זה היא גבוהה

ב

1) תוקף ניבוי

2)

• מדובר בתוקף ניבוי

• מחשבים מתאם בין 2 כלי מדידה שונים

• אשר בודקים את אותה תכונה (מידת התאמה לכדורסל)

• באמצעות 2 שיטות שונות.

• שיטה אחת זה המנבא (מבחן קבלה)

• שיטה שניה זה הקריטריון (ציון בסוף הקורס)-

• מטרת הבדיקה היא לבדוק את יכולת הניבוי של המנבא את הקריטריון

במילים אחרות עד כמה מצליח מבחן הקבלה לנבא את ההצלחה בקורס

3)

1) ניסוח מלא של ניתוח טבלת תוקף ניבוי

התייחסות ללוח א

		החלטת המבחן
		מתאים	לא מתאים
ציון בקורס	הצליח	10A	6C	E16
	נכשל	6B	D10	F 16
	סה"כ	G16	H16	32 מועמדים

• בקרב העוברים את הקורס כפי שנתקבל בקריטריון, המבחן מנבא (נכון) ל 63% סיכוי הצלחה

• הסבר החישוב: מתייחסים לתאים A וE . המבחן ניבא הצלחה לעומת אלא שהצליחו באמת של: 10/16=63%

• בקרב הנכשלים בקורס , כפי שהתקבל בקריטריון, המבחן מנבא (טעות) ל 37.5% סיכוי הצלחה

• הסבר החישוב: מתייחסים לתאים B ו F. המבחן ניבא הצלחה לעומת אלה שנכשלו 6/16=37.5%

• המנבא מצליח להבחין בין העוברים והנכשלים מבחינת סיכוי הצלחה

• כלומר המבחן הוא דיאגנוסטי,

• ומכאן שלמנבא יש תוקף ניבוי

• תוקף הניבוי הוא בכיוון החיובי

2)

• בקרב העוברים את הקורס כפי שנתקבל בקריטריון, המבחן מנבא (נכון) ל % 25 סיכוי הצלחה ( 4/16)

• בקרב הנכשלים בקורס , כפי שהתקבל בקריטריון, המבחן מנבא (בטעות) ל 81.25% (13/16) סיכוי הצלחה (עבור אלא שנכשלו)

• המנבא מצליח להבחין בין העוברים והנכשלים מבחינת סיכוי הצלחה

• כלומר המבחן הוא דיאגנוסטי,

• ומכאן שלמנבא יש תוקף ניבוי

• תוקף הניבוי הוא בכיוון השלילי

3)

• בקרב העוברים את הקורס כפי שנתקבל בקריטריון, המבחן מנבא (נכון) ל 50% סיכוי הצלחה ( 8/16)

• בקרב הנכשלים בקורס , כפי שהתקבל בקריטריון, המבחן מנבא (בטעות) 50% (8/16), סיכוי הצלחה עבור אלא שנכשלו

• המבחן חסר תוקף ניבוי (הוא כמו ניחוש מקרי)

• וזאת בגלל שהוא לא מצליח להבחין בין עוברים לנכשלים מבחינת סיכוי ההצלחה.

הסברים נוספים

• בתוקף ניבוי מענין אותי רק עוצמת הקשר (לא משנה לי אם המתאם הוא חיובי או שלילי)

• ככל שהפער בין סיכוי הצלחה גדל יותר (מתאם גבוה יותר),כך תוקף הניבוי של המבחן הוא טוב יותר.

• ללוח ב יש את הפער הכי גדול 25% מול 82.5%

• ולכן לוח ב' הוא משקף את המבחן בעל תוקף הניבוי הגבוה ביותר.

4)

• בתוקף מבנה מענין אותנו האם זה תואם את הציפיות שלנו או שלא (הכוונה לתוקף מבנה תיאורטי) ולכן נבדוק את הלוחות ונראה האם הן בכיוון הציפיות שלנו

• הציפייה היא לכיוון חיובי

• בנוגע ללוח א

• הכיון הוא חיובית

• תוקף הניבוי הוא בכיון שתואם את הציפיות של החוקר

• ולכן לוח א' מהווה עדות תומך לתוקף המבנה

• בנוגע ללוח ב'

• הכיון הוא שלילי

• תוקף הניבוי הוא בכיוון שמנוגד למצופה

• ולכן קיימת החלשה לתוקף המבנה של המבחן

• בנוגע ללוח ג'

• לא מקיים מתאם בין מבחן ההתאמה לבין ציון בקורס

ג

1) תוקף מבנה מסוג חקר הבדלים בין קבוצות

2)

• מדובר בבדיקה של תוקף מבנה מסוג חקר הבדלים בין קבוצות

• כיוון שנעשה ניסיון לבדוק את אותה תכונה (מידת התאמה לכדורסל)

• באמצעות שתי שיטות שונות:

• השיטה הראשונה זה השיוך הקבוצתי כפי שמתרחש במציאות (שחקני קבוצת הותיקים לבין מועדים חדשים)

• השיטה השנייה זה כלי המדידה. (מבחן קבלה)

• וכיוון שקימת ציפייה מראש להבדלים בין ממוצעי הקבוצות (שהותיקים יקבלו ציון ממוצע גבוה יותר מאשר המועמדים החדשים )

• אזי כלי המדידה, כתנאי הכרחי לתקפות, חייב להראות הבדלים בין ממוצעי הקבוצות בכיוון המצופה

3)

• זוהי תוצאה לא רצויה

תוצאה רצויה ולא רצויה

אנחנו מבחינים בין תוצאה רצויה ללא רצויה:

תוצאה רצויה

• ימצאו הבדלים בין ממוצעי הקבוצות בכיוון המצופה

• בהתייחסות לדוגמא שלנו, הציון שקיבלו המנהלים גבוה מהציון שקיבלו מפעלי היצור.

כל תוצאה רצויה מחזקת את התוקף של כלי המדידה שלנו

תוצאה לא רצויה

• לא ימצאו הבדלים בין ממוצעי 2 הקבוצות

• קיימת החלשה לתוקף המבנה של מבחן הקבלה

ד

1)

• זוהי בדיקה של תוקף מבנה מסוג חקר מתאמים

• וזאת כיוון שנעשה פה ניסיון לבחון את הקשר בין 2 תכונות שונות מין והתאמה למשחק הכדורסל)

• באמצעות שיטה אחת (מבחן הקבלה)

• וזאת כאשר לא קיימת ציפייה מראש לכיוון של קשר מסוים, וכיוון קשר מסוים תלויה בתיאוריה של החוקר.

2)

• תלוי במה התיאוריה מנבאת:

• זה לא הכרחי ולא מובן מאליו שהקבל קשר בכיוון מסוים

• וכל עוד לא נאמר לנו מהו היו ציפיות החוקר לא נוכל לעשות הבחנה בין תוצאה רצויה לתוצאה לא רצויה

3)

• מערך המחקר הוא מסוג מתאמי

• החוקר מדד את שני המשתנים: מין ומידת התאמה

• החוקר לא עשה מניפולציה כולשהי

ה

1) החוקר התכוונן לבדוק מהימנות כיציבות

2) לא אי אפשר לעשות זאת

• בדיקת מהימנות מחייבת שהבדיקה תתבצע על אותה קבוצה של מועמדים

• במקרה שלנו לקחו קבוצה אחרת של נבחנים

ן

1. זוהי בדיקת מהימנות כאקווילנטיות

• נעשה ניסיון לבדוק מתאם של אותה תכונה (= התאמה לקבוצת הכדורסל)

• לאותה קבוצה של נבדקים

• באמצעות אותה שיטה (שאלון דירוג קטעים שונים ממשחקי כדורסל)

• מדובר בשני נוסחים מקבילים. (קטעים שונים ממשחקי כדורסל)

• העברת השאלון פעם אחת (מכיון שהשאלון הועבר מייד אחרי השני אז זה נחשב לשאלות אחד)

שאלה 7 עמוד 8

א

מהימנות כעקיבות פנימית.

זוהי המהימנות היחידה שניתן לערוך (מבלי לאסוף נתונים שונים) רק בהעברה אחת של השאלון.

ב

1) מדובר בתוקף מבנה מסוג תוקף מתכנס

2)

• מדובר בתוקף מבנה מסוג תוקף מתכנס מכיוון ש

• חושב המתאם בין 2 כלי מדידה שונים

• אשר בודקים את אותה תכונה (נטיה לקחת סיכונים)

• באמצעות 2 שיטות שונות

• שיטה א' שאלון דיווח עצמי

• שיטה ב' שאלון הערכה של בן/ בת זוג

3)

• מתאם חיובי גבוה בין 2 בדיקות אלה הוא כיוון התוצאה הרצוי על מנת לחזק תוקף מבנה

• 0.65 נחשב למתאם גבוה לתוקף מתכנס, זוהי תוצאה רצויה לחוקר

ג

1)

• מדובר בשלוש קבוצות שונות, כך שזה לא יכול להיות בדיקת מהימנות כי

• בדיקת מהימנות מחייבת אותה קבוצת נבדקים

2)

מדובר בתוקף מבנה מסוג חקר הבדלים בין קבוצות.

• כיוון שנעשה ניסיון לבדוק את אותה תכונה (נטיה לקחת סיכונים פיזיים)

• באמצעות שתי שיטות שונות:

• השיטה הראשונה זה השיוך הקבוצתי כפי שמתרחש במציאות (מטפסי הרים ונהגי מכוניות מרוץ לבין פקידים)

• השיטה השנייה זה כלי המדידה. (שאלון חדש)

• וכיוון שקימת ציפייה מראש להבדלים בין ממוצעי הקבוצות (מטפסי הרים ונהגי מכוניות יקבלו ממוצע גבוה יותר מפקידים)

• אזי כלי המדידה, כתנאי הכרחי לתקפות, חייב להראות הבדלים בין ממוצעי הקבוצות בכיוון המצופה

3)

• אנו מצפים שבין הנהגים למטפסים יהיה ציון מתאם גבוה (שלא יהיה הבדל ביניהם)

• ולכן התוצאה תואמת את הציפיות שלנו

• וזוהי תוצאה רצויה שמחזקת את תוקף מבנה השאלון

ד

1)

ערכו מתאם בין שאלון תוקפנות לבין שאלון נטיה לקחת סיכונים פיזים

לא מדובר במהימנות כי זוהי מדידה של 2 תכונות שונות

מדובר בתוקף

2)

מדובר בתוקף מבחין

(היינו מתלבטים בין תוקף מבחין לבין תוקף מתאמים אבל בגלל התיאוריה של פרויד שאומרת שתוקפנות מוציאים על ידי סיכונים ולכן יש דימיון בין 2 התכונות האלה)

מדובר בתוקף מבנה מסוג תוקף מבחין

• מדובר בתוקף מבנה מסוג תוקף מבחין מכיוון ש

• זוהי בדיקה של מתאם של 2 מדידות

• שבודקים באמצעות אותה שיטה (שאלון)

• 2 תכונות שונות (תוקפנות ונטיה לקחת סיכונים)

• המטרה של הבדיקה הזאת היא לבדוק האם כלי המדידה מצליח להבחין בין 2 תכונות דומות

3)

• זוהי תוצאה לא רצויה

• המתאם 0.8 הוא גבוה מאוד

• זה אומר שיכולת ההבחנה בין 2 התכונות הוא נמוך מאוד

• כלומר השאלון לא הצליח לעשות הבחנה בין 2 תכונות אלה (תוקפנות ונטיה לקחת סיכונים)

• (הבעיה בשאלון החדש כי על שאלון תוקפנות כתוב שהוא מהימן ותקף, אם לא היה כתוב אז לא היינו יכולים לדעת באיזה מהשאלונים נמצאת הבעיה)

ה

1)

• מדובר במהימנות כעקיבות פנימית

• מקדם מהימנות ספירמן בראון

• rs-b= (2*r12)/(1+r12)=2*0.6/(1+0.6)=0.75

• 075 זהו ערך המהימנות כעקיבות פנימית

2)

כשכתוב "מפתיע" מדובר בהשוואת תוקף למהימנות. התוקף צריך להיות קטן מהמהימנות

• שורש המהימנות מהווה חסם עליון לתוקף

• ולכן נצפה שהמהימנות תהיה גבוה יותר מאשר התוקף

• התקבל שערך התוקף (0.65) קטן מערך המהימנות (0.75) ולכן המימצא לא מפתיע כי התקבל תוקף שהוא נמוך מהימנות כפי שהיינו מצפים