연구에서 타당성 검증은 왜 하는가?
설문지와 측정도구가 정말 연구하려는 개념을 제대로 측정하는지 확인하는 과정
연구를 하다 보면 자주 등장하는 개념이 있다.
바로 타당성 검증이다.
특히 설문조사, 양적연구, 사회과학 연구, 교육학 연구, 간호학 연구, 경영학 연구 등에서 타당성 검증은 매우 중요하게 다뤄진다.
초보 연구자들은 종종 이렇게 생각 할 수 있다.
“설문 문항을 만들었으면 바로 분석하면 되는 것 아닌가?”
“신뢰도만 높으면 괜찮은 것 아닌가?”
“타당성 검증은 꼭 해야 하나?”
하지만 연구에서 타당성 검증은 선택이 아니라 매우 중요한 과정이다.
왜냐하면 연구자가 측정하려는 개념을 설문 문항이나 측정도구가 제대로 측정하고 있는지 확인해야 하기 때문이다.
쉽게 말해, 타당성 검증은 다음 질문에 답하는 과정이다.
“내가 만든 도구가 정말 내가 측정하려는 것을 제대로 측정하고 있는가?”
1. 타당성이란 무엇인가?
타당성은 영어로 validity라고 하며, 연구에서 타당성이란 측정도구가 연구자가 측정하고자 하는 개념을 얼마나 정확하게 측정하고 있는가를 의미한다.
예를 들어 연구자가 “학습 몰입도”를 측정하고 싶다고 가정해 보자!
그런데 설문 문항이 실제로는 학습 몰입이 아니라 단순한 학습 시간이나 학습 만족도만 묻고 있다면 어떻게 될까요?
이 경우 설문지는 학습 몰입도를 제대로 측정한다고 보기 어렵다.
즉, 타당성이 낮은 측정도구가 된다.
또 다른 예를 들어보겠다.
연구자가 “직무 스트레스”를 측정하려고 했는데, 설문 문항 대부분이 단순히 업무량만 묻고 있다면 직무 스트레스의 다양한 측면을 충분히 반영하지 못할 수 있다.
직무 스트레스에는 업무량뿐만 아니라 역할 갈등, 상사와의 관계, 조직 분위기, 심리적 부담감 등이 포함될 수 있기 때문이다.
따라서 타당성 검증은 연구자가 사용하는 문항이 실제 연구 개념을 제대로 반영하고 있는지 확인하는 과정이다.
2. 타당성 검증은 왜 필요한가?
2-1. 연구 결과의 정확성을 높이기 위해
타당성 검증을 하는 가장 큰 이유는 연구 결과의 정확성을 높이기 위해서다.
측정도구가 잘못되면 분석 결과도 잘못될 가능성이 높다.
아무리 통계분석을 정교하게 해도, 처음부터 측정이 잘못되었다면 연구 결과를 신뢰하기 어렵다.
예를 들어 “AI 활용 능력”을 측정한다고 하면서 실제 문항은 단순히 “AI 사용 빈도”만 묻는다면 어떻게 될까요?
AI를 자주 사용하는 사람과 AI를 잘 활용하는 사람은 다를 수 있다.
자주 사용한다고 해서 반드시 능력이 높은 것은 아니다.
이처럼 측정 개념이 불명확하면 연구 결과도 왜곡될 수 있다.
2-2. 설문 문항이 연구 개념을 제대로 반영하는지 확인하기 위해
타당성 검증은 설문 문항이 연구 개념을 제대로 설명하고 있는지 확인하는 과정이다.
예를 들어 연구자가 “연구 자기효능감”을 측정하려고 한다면 문항은 다음과 같은 내용을 포함해야 한다.
연구 주제를 설정할 수 있는 자신감
선행연구를 탐색할 수 있는 자신감
연구방법을 선택할 수 있는 자신감
자료를 분석할 수 있는 자신감
논문을 작성할 수 있는 자신감
그런데 문항이 단순히 “나는 연구가 재미있다” 또는 “나는 연구 시간이 많다”에만 집중되어 있다면 연구 자기효능감을 충분히 측정한다고 보기 어렵다.
타당성 검증은 이러한 문제를 사전에 확인하게 해준다.
2-3. 연구자의 주장에 근거를 제공하기 위해
연구 논문에서는 단순히 “이 설문지를 사용했다”라고 쓰는 것만으로는 부족하다.
해당 측정도구가 연구 개념을 적절히 측정한다는 근거가 필요하다.
예를 들어 논문에서는 다음과 같이 작성할 수 있다.
본 연구에서는 측정도구의 구성타당성을 확인하기 위해 탐색적 요인분석을 실시하였다.
또는
확인적 요인분석 결과, 각 문항은 해당 요인에 적절하게 적재되어 측정모형의 타당성이 확인되었다.
이처럼 타당성 검증은 연구자가 사용한 도구가 적절하다는 근거를 제시하는 역할을 한다.
2-4. 잘못된 문항을 제거하거나 수정하기 위해
타당성 검증을 하면 연구 개념과 잘 맞지 않는 문항을 찾아낼 수 있다.
예를 들어 어떤 설문 문항이 원래 의도한 요인이 아니라 다른 요인에 더 강하게 묶일 수 있다.
또는 여러 요인에 동시에 높게 적재되어 해석을 어렵게 만들 수도 있다.
이런 문항은 연구 결과를 혼란스럽게 만들 수 있으므로 제거하거나 수정하는 것이 좋다.
타당성 검증은 단순히 통과 여부를 보는 절차가 아니라, 측정도구를 더 정확하게 다듬는 과정이다.
3. 타당성과 신뢰도의 차이
타당성을 이해할 때 반드시 함께 알아야 하는 개념이 신뢰도다.
초보 연구자들은 타당성과 신뢰도를 혼동하는 경우가 많다.
간단히 말하면 다음과 같다.
< 구분 의미 핵심 질문 >
| 타당성 | 측정하려는 개념을 제대로 측정하는가? | 맞는 것을 재고 있는가? |
| 신뢰도 | 측정 결과가 일관되게 나타나는가? | 일관되게 재고 있는가? |
예를 들어 체중계를 생각해 보자!
몸무게를 재야 하는데 체중계가 키를 측정하고 있다면 어떻게 될까요?
아무리 매번 같은 값이 나와도 그것은 타당한 측정이 아니다.
반대로 몸무게를 재고 있기는 하지만 잴 때마다 값이 크게 달라진다면 신뢰도가 낮은 측정이다.
즉, 좋은 측정도구가 되려면 타당성도 높고 신뢰도도 높아야 한다.
중요한 점은 신뢰도가 높다고 해서 반드시 타당성이 높은 것은 아니라는 것이다.
일관되게 측정한다고 해서 반드시 올바른 개념을 측정하는 것은 아니기 때문이다.
4. 타당성의 주요 유형
연구에서 타당성은 여러 방식으로 검토할 수 있다.
4-1. 내용타당성
내용타당성은 측정 문항이 연구 개념의 내용을 충분히 반영하고 있는지를 확인하는 것이다.
예를 들어 “논문 작성 역량”을 측정한다면 다음 요소들이 포함되어야 한다.
연구 주제 설정
선행연구 검토
연구방법 선택
자료 분석
결과 해석
논문 문장 작성
투고 전 검토
만약 문항이 논문 문장 작성에만 치우쳐 있다면 논문 작성 역량 전체를 충분히 반영하지 못할 수 있다.
내용타당성은 보통 전문가 검토를 통해 확인한다.
해당 분야 전문가, 지도교수, 연구방법론 전문가 등이 문항이 적절한지 검토하는 방식이다.
4-2. 구성타당성
구성타당성은 측정도구가 이론적으로 예상한 구조를 잘 가지고 있는지 확인하는 것이다.
예를 들어 “학습몰입도”가 집중, 흥미, 지속성이라는 세 가지 하위요인으로 구성된다고 가정해 보자!
그렇다면 설문 문항들도 실제 분석에서 이 세 요인으로 잘 묶여야 한다.
구성타당성은 주로 요인분석을 통해 확인한다.
< 방법설명 >
| 탐색적 요인분석 | 문항들이 어떤 요인으로 묶이는지 탐색 |
| 확인적 요인분석 | 이론적으로 설정한 요인 구조가 자료에 적합한지 검증 |
4-3. 기준타당성
기준타당성은 새로 만든 측정도구가 이미 검증된 외부 기준과 얼마나 관련이 있는지를 확인하는 것이다.
예를 들어 새로운 우울 척도를 개발했다면, 기존에 널리 사용되는 우울 척도와 높은 상관을 보여야 한다.
그래야 새 도구도 우울이라는 개념을 잘 측정한다고 볼 수 있다.
기준타당성은 다시 동시타당성과 예측타당성으로 나눌 수 있다.
동시타당성은 현재의 외부 기준과 비교하는 것이고, 예측타당성은 미래 결과를 얼마나 잘 예측하는지 확인하는 것이다.
4-4. 수렴타당성과 판별타당성
수렴타당성은 비슷한 개념끼리 실제로 높은 관련성을 보이는지를 확인하는 것다.
예를 들어 학습몰입도와 학습동기는 어느 정도 관련이 있을 수 있다.
따라서 두 개념 사이에 적절한 상관이 나타난다면 수렴타당성을 뒷받침할 수 있다.
반대로 판별타당성은 서로 다른 개념이 실제로 구분되는지를 확인하는 것이다.
예를 들어 학습몰입도와 단순한 학습 시간은 관련은 있을 수 있지만 같은 개념은 아니다.
두 개념이 지나치게 높게 상관되어 구분되지 않는다면 판별타당성에 문제가 있을 수 있다.
5. 타당성 검증에서 자주 하는 실수
5-1. 신뢰도만 확인하고 타당성을 생략하는 경우
Cronbach’s α 값이 높다고 해서 측정도구가 타당하다고 볼 수는 없다.
신뢰도는 일관성을 보여줄 뿐, 그 도구가 정말 측정하려는 개념을 측정하는지는 별도로 확인해야 한다.
5-2. 기존 척도라서 무조건 타당하다고 보는 경우
기존 연구에서 사용된 척도라고 해서 내 연구에서도 자동으로 타당하다고 볼 수는 없다.
연구 대상, 문화적 맥락, 분석 목적, 문항 수정 여부에 따라 타당성이 달라질 수 있기 때문이다.
5-3. 요인분석 결과를 해석하지 않고 수치만 제시하는 경우
타당성 검증은 단순히 요인분석을 실행하는 것이 아니다.
문항들이 어떤 요인으로 묶였는지, 이론과 맞는지, 제거해야 할 문항은 없는지 해석해야 한다.
5-4. 문항 제거 기준 없이 임의로 문항을 삭제하는 경우
요인적재량이 낮거나 여러 요인에 동시에 적재되는 문항은 제거를 검토할 수 있다.
하지만 단순히 통계 수치만 보고 무조건 삭제하는 것은 위험하다.
문항 제거는 이론적 의미와 통계적 기준을 함께 고려해야 한다.
6. 논문에서 타당성 검증 결과는 어떻게 작성할까?
논문에서는 타당성 검증 결과를 간단명료하게 작성해야 한다.
예를 들어 탐색적 요인분석을 실시했다면 다음과 같이 쓸 수 있다.
본 연구에서는 측정도구의 구성타당성을 확인하기 위해 탐색적 요인분석을 실시하였다. 분석 결과, 각 문항은 이론적으로 예상한 요인에 적절하게 적재되었으며, 요인적재량은 모두 .50 이상으로 나타났다. 따라서 본 연구에서 사용한 측정도구의 구성타당성이 확보된 것으로 판단하였다.
확인적 요인분석을 사용했다면 다음처럼 작성할 수 있다.
확인적 요인분석 결과, 측정모형의 적합도 지수는 수용 가능한 수준으로 나타났으며, 각 관측변수의 표준화 요인부하량도 기준치를 충족하였다. 이를 통해 측정모형의 타당성이 확인되었다.
내용타당성의 경우에는 다음처럼 작성할 수 있다.
본 연구에서는 설문 문항의 내용타당성을 확보하기 위해 관련 분야 전문가 3인의 검토를 실시하였다. 전문가 의견을 바탕으로 문항의 표현을 수정하고 중복 문항을 제거하였다.
7. 타당성 검증은 연구 결과를 믿을 수 있게 만드는 과정이다.
연구에서 타당성 검증을 하는 이유는 단순히 통계 절차를 추가하기 위해서가 아니라,
타당성 검증은 연구자가 측정하려는 개념을 제대로 측정했는지 확인하는 핵심 과정이다.
측정도구가 타당하지 않으면 연구 결과도 신뢰하기 어렵다.
반대로 타당성이 확보되면 연구자의 주장과 분석 결과는 훨씬 더 설득력을 갖게 된다.
초보 연구자가 기억해야 할 핵심은 다음과 같다.
타당성은 “내가 재고 싶은 것을 제대로 재고 있는가?”를 확인하는 것이다.
신뢰도가 “일관되게 측정하는가”를 묻는다면,
타당성은 “정확한 개념을 측정하고 있는가”를 묻는다.
따라서 설문지를 사용하거나 측정도구를 개발하는 연구라면 반드시 타당성 검증을 고려해야 한다.
타당성 검증은 연구의 형식적인 절차가 아니라, 연구 결과를 믿을 수 있게 만드는 가장 중요한 기반이다.