≣ 목차
신뢰도란?
신뢰도는 쉽게 말해, 얼마나 믿을 수 있는지를 나타내는 기준이에요. 우리가 무언가를 신뢰할 때, 그 대상이 믿음직스럽고 기대한 대로 행동할 거라고 생각하죠. 신뢰도가 높다는 건 그 대상이 꾸준히 믿음직스러웠다는 뜻입니다.
즉, 신뢰도가 높은 대상은 정확하고, 꾸준하며, 갑작스러운 오류 없이 믿을 수 있고, 이유가 투명하고, 자신의 행동에 책임을 질 줄 아는 대상인 거예요.
타당도란?
타당도는 쉽게 말해, 측정하고자 하는 것을 얼마나 정확하게 측정하고 있는지를 나타내는 개념이에요. 예를 들어 시험에서 학생의 실력을 측정하고 싶다면, 그 시험이 진짜로 학생의 실력을 정확하게 보여주는지를 평가하는 것이 타당도입니다. 타당도가 높을수록 측정하고자 하는 대상을 제대로 측정하고 있다는 의미죠.
- 내용 타당도: 측정 도구나 방법이 다루고자 하는 내용을 모두 포함하고 있는지 평가해요. 예를 들어 수학 시험이 학생의 전체 수학 실력을 평가하려면, 다양한 수학 문제 유형(예: 계산, 문제 해결, 논리 등)을 포함해야 내용 타당도가 높다고 할 수 있어요.
- 준거 타당도: 측정 결과가 다른 타당한 기준과 어느 정도 일치하는지를 평가해요. 예를 들어, 신입 사원 평가 도구의 점수가 이후 실제 업무 성과와 잘 맞아떨어진다면, 그 평가 도구는 준거 타당도가 높은 거예요.
- 구인 타당도: 측정 도구가 이론적으로 정의된 개념을 잘 측정하고 있는지를 평가해요. 예를 들어, 스트레스 수준을 측정하는 설문이 진짜로 "스트레스"라는 개념을 잘 반영하고 있는지를 확인하는 거예요. 스트레스와 관련 없는 질문이 포함되었다면 구인 타당도가 낮다고 볼 수 있겠죠.
- 결과 타당도: 측정 결과가 목적에 맞는 유용한 정보를 제공하는지 평가해요. 예를 들어, 회사에서 직원의 직무 만족도를 조사했을 때 그 결과가 실제로 회사의 환경 개선에 도움이 된다면 결과 타당도가 높은 거예요.
타당도가 높다는 것은, 측정 도구나 방법이 원래 목표한 대상을 제대로 잘 반영하고 있다는 의미입니다. 반대로 타당도가 낮으면, 측정 결과가 실제와 다르거나 엉뚱한 정보를 줄 수 있기 때문에 신뢰하기 어렵겠죠.
신뢰도 타당도 관계
신뢰도가 높아야 타당도가 높아질 가능성이 있습니다. 왜냐하면 일관성이 있어야 정확한 측정 결과를 얻을 수 있기 때문이에요. 그러나 신뢰도가 높다고 해서 무조건 타당도가 높은 것은 아닙니다.
일관된 결과를 내더라도 그 결과가 실제 측정하고자 하는 대상을 정확하게 반영하지 않는다면 타당도가 낮아지기 때문이죠.
- 신뢰도만 높은 경우: 신뢰도만 높다는 것은 결과가 일관되게 나오긴 하지만, 측정하고자 하는 대상을 정확하게 반영하지 않을 수 있다는 뜻이에요. 예를 들어, 체중계가 잘못 고정돼서 항상 3kg 높게 나오는 경우를 생각해 볼게요. 매번 같은 체중이 측정되니 일관성은 있지만(신뢰도는 높음), 실제 체중과는 다르기 때문에 타당도는 낮아요. 즉, 정확한 정보를 제공하지 못하는 거죠.
- 타당도만 높은 경우는 불가능: 타당도가 높다는 것은 실제 측정하려는 대상에 대한 정확한 정보를 준다는 뜻인데, 이를 위해서는 신뢰도가 어느 정도 확보되어야 해요. 즉, 타당도가 높으려면 측정이 일관되게 잘 이루어져야 하므로, 신뢰도 없이 타당도만 높을 수는 없습니다.
- 신뢰도와 타당도가 모두 높은 경우: 이때가 가장 이상적인 상태입니다. 측정 도구가 일관성 있게 정확한 결과를 제공한다는 뜻이죠. 예를 들어, 잘 교정된 체중계는 매번 정확하게 같은 체중을 측정하므로 신뢰도와 타당도가 모두 높은 것입니다.
- 신뢰도와 타당도가 모두 낮은 경우: 측정 결과가 일관적이지도 않고, 정확하게 측정하려는 대상을 반영하지도 못할 때입니다. 예를 들어, 배터리가 약해서 매번 다른 숫자를 보여주는 체중계를 생각할 수 있어요. 이 체중계는 믿을 수도 없고, 정확한 체중을 알려주지도 않기 때문에 신뢰도와 타당도가 모두 낮은 상태죠.
신뢰도 타당도 저해요인
신뢰도 저해요인
신뢰도는 일관성 있는 결과를 제공하는 능력을 뜻하므로, 측정이 반복될 때마다 결과가 일관되지 않으면 신뢰도가 낮아집니다.
- 측정 도구의 불안정성: 측정 도구가 불안정하거나 자주 고장 나면, 측정 결과가 매번 달라질 수 있어요. 예를 들어, 노후된 체중계가 사용할 때마다 다른 숫자를 나타낸다면, 신뢰도가 낮아집니다.
- 환경적 요인: 소음, 조명, 온도 등 측정 환경이 변동되면 일관성 있는 결과를 얻기 어렵습니다. 예를 들어, 소음이 큰 환경에서는 학생의 집중력이 떨어져 테스트 결과가 달라질 수 있습니다.
- 측정자 편향: 측정자가 일관성 없이 변덕스럽게 기준을 적용할 때 발생합니다. 예를 들어, 평가자가 학생의 성격이나 인상을 기준으로 성적을 부여하면 매번 평가 결과가 다를 수 있어요.
- 피험자의 상태 변화: 측정 대상이 매번 다른 상태에 놓이면 신뢰도가 낮아질 수 있습니다. 예를 들어, 피로하거나 스트레스를 받은 상태에서의 테스트 결과는 그렇지 않은 상태와 다를 수 있어요.
2. 타당도 저해 요인
타당도는 측정하고자 하는 대상을 얼마나 정확하게 측정하는지의 능력을 뜻합니다. 측정이 정확한 대상을 반영하지 못하면 타당도가 낮아집니다.
- 측정 도구의 부적합성: 측정 도구가 측정하려는 대상을 제대로 반영하지 못할 때 타당도가 떨어집니다. 예를 들어, 학생의 창의성을 측정하는데 암기 문제를 주는 것은 타당도가 낮은 것입니다.
- 내용 범위의 제한: 측정 내용이 측정하려는 대상을 충분히 포함하지 못할 때 발생합니다. 예를 들어, 전체 수학 실력을 평가하는데 단순 계산 문제만 포함하면, 내용 타당도가 낮아지겠죠.
- 외적 요인 개입: 측정에 외부적인 요소가 개입하면 타당도가 떨어질 수 있어요. 예를 들어, 학생의 성적이 학업 능력 외에 가정 형편, 부모의 교육 수준 등 외적 요인에 의해 좌우될 때, 평가의 타당성이 낮아질 수 있습니다.
- 편향: 측정 대상에 대한 편견이나 선입견이 있을 때 타당도가 저해됩니다. 예를 들어, 성별, 인종, 지역 등의 차이를 기준으로 평가가 이루어질 경우 공정한 평가가 어려워 타당도가 낮아질 수 있습니다.
- 측정 조건 불일치: 측정 조건이 목표로 하는 실제 상황과 다를 경우, 타당도가 낮아질 수 있습니다. 예를 들어, 필기시험만으로 실제 수행 능력을 평가하려 하면, 실제 업무 성과를 반영하지 못해 타당도가 떨어질 수 있어요.
따라서 신뢰도와 타당도를 높이기 위해서는 일관성 있는 측정 도구와 조건을 유지하고, 정확하게 목표 대상을 반영할 수 있는 평가 방법을 사용하는 것이 중요합니다.
- 신뢰도 저해 요인은 주로 일관성을 방해하는 도구의 불안정성, 환경적 요인, 측정자 편향, 피험자 상태 변화 등이 있습니다.
- 타당도 저해 요인은 측정하고자 하는 대상을 정확하게 반영하지 못하게 만드는 도구의 부적합성, 내용 범위 제한, 외적 요인, 편향, 측정 조건 불일치 등이 있습니다.