평가도구의 특성 Flashcards
(17 cards)
타당도
측정도구가 재려고 의도한 것을 어느 정도로 충실히 재고 있는지를 나타내 주는 것으로,
내용타당도, 준거타당도로서 예언타당도와 공인타당도,
구인타당도, 그리고 결과타당도가 있다.
내용타당도
1)교육목표의 대표성 또는 문항표집의 적절성으로 판단 : 내용타당도는 한 검사를 구성하는 문항들이 교육목표와 수업목표의 대표적인 것들을 얼마나 충실히 반영하고 있는지, / 교과에서 가르친 내용을 그 범위나 수준에서 가장 대표하는 내용을 담고 있는지를 나타내는 타당도이다.
2)논리적 분석으로 검증
: 내용타당도는 내용의 논리적 분석에 근거하므로/ 검증은 전문가의 판단에 의해 이루어진다. / 타당도가 객관적 수치로 제공되지 않기 때문에 / 검사 내용 전문가의 전문적 지식에 의해 주관적 판단될 수 밖에 없다.
3)목표지향 평가에서 더욱 중요
: 목표지향 평가는 목표에의 달성여부를 판단하기 위한 것이므로/ 신뢰도는 있으면 좋은 부수적인 조건이지만, 내용 타당도는 반드시 있어야 할 필요조건이다.
따라서 내용타당도는 규준지향 평가에서 보다 목표지향 평가에서 더 중요한 의미를 갖는다.
4)내용타당도를 높이는 방안 - 이원분류표의 작성
: 내용타당도는 한 검사를 구성하는 문항들이 교육목표의 대표적인 내용들을 얼마나 충실히 담고 있는지에 의해 결정된다. / 따라서 교육목표들을 명세화하고 이들을 내용 영역과 행동 영역으로 구분한 이원분류표를 작성할 경우 내용타당도를 높일 수 있다.
예언타당도
1)미래의 행동 특성이 준거
:예언타당도는 평가도구가 피검사자의 미래의 행동특성을 얼마나 정확하고 완전하게 예언하느냐를 판단하고자 하는 것이다. / 미래의 행동특성이라는 개념 속에는 학업성취도, 직장에서의 근무성적, 사회적 적응 등 다양한 속성을 포함한다.
2)적성 검사에 주로 활용
: 예언타당도는 적성검사나 선발고사와 같이 예언을 주된 기능으로 하는 검사에서는 더 절실히 요구되는 성질이다.
공인타당도
1)타당도가 인정되는 기존 검사와의 공통된 요인이 준거 기준 : 공인타당도는 새롭게 제작한 검사가 타당도를 인정받고 있는 기존의 검사와 얼마나 공통된 요인을 가지고 있느냐로 판단하는 타당도이다.
이는 해당 검사점수와 그 검사 이외에 현재 다른 어떤 검사점수같의 상관관계로 추정한다.
2)새로운 이론이나 검사 방식 모색에 유용
:공인타당도는 새로운 이론이나 검사 방식을 모색할 대 유용하게 사용될 수 있는 타당도의 한 가지 방법이 될 수 있다.
구인타당도
1)구인의 의미 : 측정하고자 하는 심리적 특성을 이루고 있는 속성들을 가설적으로 정한 것이다.
2)구인의 실제 여부와 측정여부가 준거
: 구인타당도는 그 검사가 측정하고자 하는 구인이 정말 존재하며, 검사가 그것을 제대로 측정하고 있는 지를 확인하는 데 사용되는 타당도이다.
결과타당도
1)평가활동이 의도한 목적 달성 여부가 판단기준
: 결과타당도란 평가를 실시하고 난 결과에 대한 가치판단을 의미한다.
평가활동이 원래 의도한 기능을 제대로 수행하거나 목적을 제대로 달성하고 있는 지의 여부가 타당도 판단의 준거가 된다.
신뢰도
‘얼마나 오차 없이 정확하게’ 측정하고 있느냐를 나타내는 개념이다. 신뢰도는 흔히 같은 대상에 대해 두 번 측정해서 얻은 두 개의 측정치 사이에 일관성 있느냐는 뜻으로 해석하기도 한다.
타당도와 신뢰도의 관계
1)신뢰도는 타당도의 필요조건
: 한 검사가 측정한 검사치에서 오차부분을 빼버리면 나머지는 신뢰도가 되며, 이 신뢰도는 타당도와 비타당도 부분으로 구성된다. 즉, 신뢰도가 있어야 타당도가 보장이 되므로 신뢰도는 타당도의 필요조건이 된다.
2)신뢰도가 낮아지면 - 타당도도 저하
: 신뢰도는 타당도의 선행조건이므로 신뢰도가 낮아지면 타당도가 낮아진다. 그러나 신뢰도가 높다고 해서 반드시 타당도가 높아지는 것은 아니다.
신뢰도 접근 방법
1) 개인 내 변산 접근
: 단일한 측정대상을 같은 측정도구를 가지고 여러 번 측정한 결과가 어느 정도 일관성 있게 나오느냐로 신뢰도를 확인하는 방법이다.
2)개인 간 변산 접근
: 한 집단의 피검사자에게 측정을 두 번 실시하고 첫 번째 실시했을 때의 측정치의 상대적 순서와 두번째 실시했을 때의 상대적 순서가 어느정도 일치하느냐로 신뢰도를 평가하는 방법이다.
검사의 신뢰도 추정 방법
1) 재검사 신뢰도
2) 동형검사 신뢰도
3) 반분검사 신뢰도
4) 문항내적 합치도
검사의 신뢰도 추정 방법 - 재검사 신뢰도
한 개의 검사를 같은 집단에게 두 번 실시해서, 그 전후의 결과에서 얻은 점수를 기초로 신뢰도를 추정하는 방법이다.
검사의 신뢰도 추정 방법 - 동형검사 신뢰도
미리 두 개의 동질성을 가진 것으로 추정되는 동형검사를 제작하고, 그것을 같은 피험자에게 실시해서 얻은 점수를 기초로 신뢰도를 추정하는 방법이다.
검사의 신뢰도 추정 방법 - 반분검사 신뢰도
반분검사 신뢰도는 먼저 한 개의 검사를 한 피험 집단에게 실시한 다음, 그것을 적절한 방법에 의해 두 부분의 점수로 분할하고 이렇게 분할한 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계산하여 신뢰도를 추정하는 방법이다.
검사의 신뢰도 추정 방법 - 문항내적 합치도
한 검사에 있는 문항 하나하나를 각각 독립된 별개의 검사로 간주하여 그들 사이의 합치성, 동질성, 일치성을 종합하여 신뢰도를 추정하는 방법이다.
신뢰도를 높이는 방법
1) 문항난이도가 중간 정도인 문항이 많을수록
2) 문항변별도가 높을수록
3) 전체 학생을 대상으로 실시할 때
객관도
1)채점의 일관성 정도 - 채점자 신뢰도
객관도는 채점자의 채점이 어느 정도 일관성이 있느냐의 정도를 밝혀주는 것으로, / 채점자 신뢰도라고도 한다.
2) 채점자 간 신뢰도 : 한 문항에 대해 여러 사람의 채점 결과가 일치하는 정도를 ‘채점자간 신뢰도’라고 한다.
3) 채점자 내 신뢰도 : 한 채점자가 같은 문항에 대해 여러 번 채점한 결과의 일치 정도를 ‘채점자 내 신뢰도’라고 한다.
논문형 검사에서 객관도를 높이는 방법
1) 채점의 기준을 미리 정해 둔다.
2) 답안지는 학생단위로 채점하지 말고 문항단위로 채점한다.
3) 가능하면 혼자 채점하지 말고, 여러 사림이 채점해서 평균하도록 한다.
