2. TOOLS OF M&E
• Basic characteristics of m&e tools : reliability
and validity, objectivity and usability.
• Norms of interpretation of scores- z scores
and percentile norms.
3. M&E TOOLS
• Achievement test
questionnaire
• IQ test
• case studies
• Attitude scale
• observation
• Interest scale
• Performance test
• Inventories
• Surveys
• Interviews
Presentation title 3
• उपलब्धि परीक्षण प्रश्नावली
• आईक्यू टेस्ट क
े स स्टडीज
• मनोवृत्ति पैमाने अवलोकन
• ब्याज का पैमाना
• प्रदर्शन का परीक्षण
• सूची
• सवेक्षण
• साक्षात्कार
https://share.getliner.com/1AeXBF8ZE1 (English )
https://targetnotes.com/%E0%A4%AE%E0%A4%BE%E0%A4%AA%E
0%A4%A8-%E0%A4%8F%E0%A4%B5%E0%A4%82-
%E0%A4%AE%E0%A5%82%E0%A4%B2%E0%A5%8D%E0%A4%A
F%E0%A4%BE%E0%A4%82%E0%A4%95%E0%A4%A8-
%E0%A4%95%E0%A5%87-
%E0%A4%89%E0%A4%AA%E0%A4%95/ (hindi)
4. Characteristics of Validity
• The test must really measure what it has
been designed to measure.
• Degree to which the researcher has
measured what he has set out to measure
(वह त्तडग्री त्तजस तक र्ोधकताश ने माप त्तलया है त्तक
उसने क्या मापने क
े त्तलए त्तनधाशररत त्तकया है (ब्धिथ
1973)(Smith 1973)
• Does the content
of the test appear
to be suitable to
its aims?
• What appears “on
face”
• Readability
Face
Validity
• Is the test fully
representative of what it
aims to measure?
Content
validity
• is the extent to which
people’s scores are
correlated with other
variables or criteria that
reflect the same construct. IT
is established statistically
such that a set of scores
revealed by the measuring
instrument is correlated with
the scores obtained in
another external predictor or
measure.
Criterion
based validity
• Established statistically by
comparing psychological
traits or factors that
theoretically influence
scores in a test.
• Does the test measure
the concept that it’s
intended to measure?
Construct
validity
https://www.scribbr.com/methodology/types-of-validity/
5. CHARACTERISTICS
Reliability
This means that the test should give similar
results even though different testers
administrate it. (इसका मतलब यह है त्तक परीक्षण को
समान पररणाम देना चात्तहए भले ही अलग-अलग
परीक्षक इसे प्रर्ात्तसत करते होों।)
• The consistency of a
measure across time:
Test-retest
• The consistency of a
measure across raters
raters or observers.
• मूल्ाोंकन करने वालोों या
पयशवेक्षकोों क
े बीच त्तकसी
माप की त्तनरोंतरता
Interrater
• The consistency
of the measurement
itself
• माप की ही सोंगत्तत.
Should have Lgical
order, continuous
Internal
consistency
6. CHARACTERISTICS
Objectivity
• The degree to which equally competent
users get the same results.
• C.V. Good (1973) defines objectivity in
testing is “the extent to which the instrument
is free from personal error (personal bias),
that is subjectivity on the part of the scorer”
• It influence both reliability and validity.
• It is also known as “rater reliability”
7. CHARACTERISTICS
त्तनष्पक्षतावाद
• वह सीमा त्तजस तक समान रूप से सक्षम
उपयोगकताशओों को समान पररणाम प्राप्त होते हैं।
• सीवी।
• गुड (1973) परीक्षण में वस्तुत्तनष्ठता को पररभात्तित
करता है "वह सीमा है त्तजस तक उपकरण व्यब्धिगत
त्रुत्तट (व्यब्धिगत पूवाशग्रह) से मुि है, जो त्तक स्कोरर
की व्यब्धिपरकता है"
• यह त्तवश्वसनीयता और वैधता दोनोों को प्रभात्तवत करता
है।
• इसे "रेटर त्तवश्वसनीयता" क
े रूप में भी जाना जाता है
8. CHARACTERISTICS
Usability
The test must have practical value from time,
economy, and administration point of view.
1.Ease of administration
2.Time required for administration
3. Ease of interpretation
4.Availability of equivalent forms
5.Economical consideration
9. CHARACTERISTICS
प्रयोज्य
परीक्षण का समय, अथशव्यवस्था और प्रर्ासन क
े
दृत्तिकोण से व्यावहाररक मूल् होना चात्तहए।
1. प्रर्ासन में आसानी
2. प्रर्ासन क
े त्तलए आवश्यक समय
3. व्याख्या में आसानी
4. समकक्ष रूपोों की उपलिता
5. आत्तथशक त्तवचार
10. Z - score and percentile
norm
10
NORMS OF INTERPRETATION OF
SCORES
11. Z-SCORE
A z-score describes the position of a raw score in
terms of its distance from the mean when
measured in standard deviation units.
It is useful to standardize the values (raw scores)
of a normal distribution by converting them into
z-scores because:
(a) it allows researchers to calculate the
probability of a score occurring within a
standard normal distribution.
(b) It enables us to compare two scores from
different samples (which may have different
means and standard deviations).
12. Z-SCORE
• जेड-स्कोर मानक त्तवचलन इकाइयोों में मापे जाने पर
माध्य से इसकी दू री क
े सोंदभश में कच्चे स्कोर की
ब्धस्थत्तत का वणशन करता है।
• सामान्य बोंटन क
े मानोों (अपररष्क
ृ त स्कोर) को z-
स्कोर में पररवत्ततशत करक
े उनका मानकीकरण करना
उपयोगी होता है क्योोंत्तक:
• यह र्ोधकताशओों को मानक सामान्य त्तवतरण क
े भीतर
होने वाले स्कोर की सोंभावना की गणना करने की
अनुमत्तत देता है।
• यह हमें त्तवत्तभन्न नमूनोों से दो अोंकोों की तुलना करने में
सक्षम बनाता है (त्तजनक
े अलग-अलग साधन और
मानक त्तवचलन हो सकते हैं)।
13. Steps :
1. Arrange the data set into descending or
ascending order.
2. calculate mean of data set.
3. Calculate standard deviation by using
formula
4. Calculate “z-score”for each value of data
set(x) by using formula .
5. Look up the value of “z-score” in z-table for
corresponding standard score. (+3to -3)
14. PERCENTILE NORM
• Percentiles tell you how a value compares to other values र्तमक आपको बताते
हैं त्तक कोई मान अन्य मानोों से क
ै से तुलना करता है.
• A percentile rank indicates how well a student performed in comparison to the
students in the specific norm group, for example, in the same grade and
subject. एक प्रत्ततर्तक रैंक इोंत्तगत करता है त्तक त्तवत्तर्ि मानदोंड समूह में छात्रोों की तुलना में
एक छात्र ने त्तकतना अच्छा प्रदर्शन त्तकया, उदाहरण क
े त्तलए, एक ही ग्रेड और त्तविय में।
• A student's percentile rank indicates that the student scored as well as, or
better than, the percent of students in the norm group. एक छात्र का प्रत्ततर्तक रैंक
इोंत्तगत करता है त्तक छात्र ने मानदोंड समूह में छात्रोों क
े प्रत्ततर्त क
े साथ-साथ या उससे बेहतर
स्कोर त्तकया है।
For example, a student scoring at the 35th percentile scored as well as, or better
than, 35 percent of students in the norm group. It also means that 65 percent of
the students in the norm group exceeded this score.
15. STEPS
Step 1: Collect the data set
Step 2: Arrange the data set in ascending
order
Step 3: Determine the total number of
observations
Step 4: Identify the data value for which you
are interested to find the percentile
Step 5: Count the number of data values that
are less than the above value
Step 6: Divide the number from Step 5 by the
number from Step 3 to find the percentile of
the given data value
16. TYPE OF TESTS
• Subjective and objective type achievement test:
• An Achievement test is an assessment of developed knowledge or skill. एक
उपलब्धि परीक्षण त्तवकत्तसत ज्ञान या कौर्ल का आकलन है
The advantages of Achievement tests
• Achievement tests provide data of academic performance of learners
• It helps in Evaluating the professional performance of teachers, distinguishing
between teachers on their competencies.
• It helps in evaluation of students.
• Using different assessment methods to accurately determine the level of learner
engagement in the curriculum.
• Its results and analysis are an incentive for all members of the education system
to improve the educational climate.
• It contributes to an objective assessment of teachers’ competence, curricula,
and pedagogical practices.
17. ACHIEVEMENT TEST
• उपलब्धि परीक्षण त्तर्क्षात्तथशयोों क
े अकादत्तमक प्रदर्शन का
डेटा प्रदान करते हैं
• यह त्तर्क्षकोों क
े पेर्ेवर प्रदर्शन का मूल्ाोंकन करने में
मदद करता है, त्तर्क्षकोों क
े बीच उनकी दक्षताओों में
अोंतर करता है।
• यह छात्रोों क
े मूल्ाोंकन में मदद करता है।
• पाठ्यक्रम में त्तर्क्षाथी क
े जुडाव क
े स्तर को सटीक रूप
से त्तनधाशररत करने क
े त्तलए त्तवत्तभन्न मूल्ाोंकन त्तवत्तधयोों का
उपयोग करना।
• इसक
े पररणाम और त्तवश्लेिण र्ैत्तक्षक माहौल में सुधार
क
े त्तलए त्तर्क्षा प्रणाली क
े सभी सदस्ोों क
े त्तलए एक
प्रोत्साहन हैं।
• यह त्तर्क्षकोों की क्षमता, पाठ्यक्रम और र्ैक्षत्तणक प्रथाओों
क
े एक वस्तुत्तनष्ठ मूल्ाोंकन में योगदान देता है।
.
18. QUESTIONNAIRE
A list of questions that are answered by many
people. A questionnaire is used to collect
information about a particular subject.
सेन पाउ योंग कहते हैं प्रश्नावली प्रश्नोों की एक ऐसी
अनुसूची है त्तजसे त्तक त्तनवेदन क
े रूप में चुने हुए व्यब्धियोों
क
े पास डाक द्वारा भेजा जाता है। Sen Pow Young says
that a questionnaire is a schedule of questions which is
sent by post to selected persons in the form of a request.
(https://www.scribbr.com/methodology/question
naire/ (eng))
20. SCHEDULE
Schedule is the tool or instrument used to collect data from the respondents while interview is
conducted. Schedule contains questions, statements (on which opinions are elicited) and blank spaces/tables for filling
up the respondents. The features of schedules are :
•The schedule is presented by the interviewer. The questions are asked and the answers are noted down by him.
•The list of questions is a more formal document, it need not be attractive.
•The schedule can be used in a very narrow sphere of social research. अनुसूची वह उपकरण या उपकरण है त्तजसका उपयोग
साक्षात्कार आयोत्तजत करते समय उिरदाताओों से डेटा एकत्र करने क
े त्तलए त्तकया जाता है। अनुसूची में उिरदाताओों को भरने क
े त्तलए प्रश्न,
कथन (त्तजस पर राय प्राप्त की जाती है) और ररि स्थान/तात्तलकाएँ र्ात्तमल हैं। अनुसूत्तचयोों की त्तवर्ेिताएों हैं:
•अनुसूची साक्षात्कारकताश द्वारा प्रस्तुत की जाती है। उसक
े द्वारा प्रश्न पूछे जाते हैं और उिर नोट त्तकए जाते हैं।
•प्रश्नोों की सूची एक अत्तधक औपचाररक दस्तावेज है, यह आकिशक होने की आवश्यकता नहीों है।
•अनुसूची का उपयोग सामात्तजक अनुसोंधान क
े एक बहुत ही सोंकीणश क्षेत्र में त्तकया जा सकता है।
21. SCHEDULE TYPES
1. Rating Schedules is a schedule used to obtain opinions, preferences etc, respondents over
statements on the phenomenon studiedरेत्तटोंग र्ेड्यूल एक र्ेड्यूल है त्तजसका उपयोग अध्ययन की गई घटना
पर बयानोों पर राय, प्राथत्तमकताएों आत्तद, उिरदाताओों को प्राप्त करने क
े त्तलए त्तकया जाता है
2. Survey Schedules are like questionnaires.
3. Observation Schedules are schedules used when observational method of data collection is
used. These could be structured or unstructured interview schedules are used for collecting data
when interview method of communication with the respondents is used. अवलोकन
अनुसूत्तचयाों अनुसूत्तचयाों हैं त्तजनका उपयोग तब त्तकया जाता है जब डेटा सोंग्रह की अवलोकन त्तवत्तध
का उपयोग त्तकया जाता है। ये सोंरत्तचत या असोंरत्तचत साक्षात्कार कायशक्रम हो सकते हैं त्तजनका
उपयोग डेटा एकत्र करने क
े त्तलए त्तकया जाता है जब उिरदाताओों क
े साथ सोंचार की साक्षात्कार
त्तवत्तध का उपयोग त्तकया जाता है
22. CHARACTERISTICS
• It should be reliable , objectivity based and usable . यह विश्वसनीय, वनष्पक्षता आधारित औि
प्रयोग किने योग्य होना चावहए।
• Content: Should cover questions or statements relating to all significant aspects of the study.
सामग्री: अध्ययन क
े सभी महत्वपूर्ण पहलुओं से संबंवधत प्रश्ों या कथनों को शावमल किना चावहए।
• Construction: Should be constructed systematically so that items progress gradually and in
order. Sub parts can be used as well. वनमाणर्: व्यिस्थथत रूप से वनमाणर् वकया जाना चावहए तावक
आइटम धीिे-धीिे औि क्रम में आगे बढें। उप भागों का भी उपयोग वकया जा सकता है।
• Language must be easy and simple. भाषा सहज औि सिल होनी चावहए।
• time factor must be kept in mind. Respondents should be informed well in time about the
interview. समय कािक को ध्यान में िखा जाना चावहए। उत्तिदाताओं को साक्षात्काि क
े बािे में समय पि
सूवचत वकया जाना चावहए।
• Personal statements must be avoided. Long ambiguous statements must not be used.
व्यस्िगत बयानों से बचना चावहए। लंबे अस्पष्ट िाक्ों का प्रयोग नहींकिना चावहए
23. RATING SCALE
The rating scale is a closed-ended questionnaire used to measure and
evaluate respondants feedback according to prefrences given on a form for
specific particular features/products/services. रेत्तटोंग पैमाना एक क्लोज्ड-एों डेड
सवेक्षण प्रश्न है त्तजसका उपयोग त्तवत्तर्ि त्तवर्ेि सुत्तवधाओों/उत्पादोों/सेवाओों क
े त्तलए तुलनात्मक
रूप में प्रत्ततवादी प्रत्ततत्तक्रया का प्रत्ततत्तनत्तधत्व करने क
े त्तलए त्तकया जाता है।
Responders are typically asked to choose from a range of options — which
are scaled between two extremes— like Excellent to Terrible.
24. PERFORMANCE TEST AND
STEPS
Tests that measure skills, speed, accuracy,
strength of learner or respondents are
performance tests . These tests could be
Picture completion test, drawing test, lab tests ,
tests in sports etc. परीक्षण जो कौर्ल, गत्तत, सटीकता,
त्तर्क्षाथी या उिरदाताओों की र्ब्धि को मापते हैं, प्रदर्शन
परीक्षण हैं। ये टेस्ट हो सकते हैं
त्तचत्र पूणशता परीक्षण, ड
र ाइोंग परीक्षण, प्रयोगर्ाला परीक्षण,
खेल में परीक्षण आत्तद।
27. STEPS OF
CONSTRUCTION
1.planning for the test - Define the content domain:
Determine the specific content or skills to be assessed in
the test.
Establish performance criteria: Set clear performance
standards or criteria that define the mastery level for each
content area.(Define the target population:in norm
refrenced )
28. CONTD..
2.Develop test items (writing items) :
Create test items or questions that
directly measure the specified content
and align with the established criteria.
29. 3.trying out the test or "pilot study" :
Administer the test items to a sample of
the target population to evaluate their
quality, difficulty, and clarity.
CONTDD..
30. 4.establishing validity and reliability :item analysis:
Analyze the test items based on statistical measures such as
item difficulty, discrimination, and distractor effectiveness.
.4Norming : Establish the norms by comparing the
performance of the test takers to calculate percentiles,
standard scores, or other normative metrics.(in case of norm
refrenced test)
