‘천장 효과’가 발생하고 있다고 결론을 내려면 어떤 기준을 충족해야합니까? 점수는 좋은 태도를 나타내고 높은 응답은

사회 과학 연구 방법의 SAGE 백과 사전에 따르면 …

[a] 상한 효과는 측정 값이 잠재적 인 반응에 대한 뚜렷한 상한을 보유하고 참가자의이 집중도가이 한도 또는 그 근처에있을 때 발생합니다. 스케일 감쇠는 이러한 방식으로 분산이 제한 될 때마다 발생하는 방법 론적 문제입니다. … 예를 들어, 높은 점수는 좋은 태도를 나타내고 높은 응답은 가능한 가장 긍정적 인 평가를 얻지 못하는 태도의 측정으로 상한 효과가 발생할 수 있습니다. … 천장 효과 문제에 대한 최상의 솔루션은 파일럿 테스트로 문제를 조기에 식별 할 수 있습니다 . 상한 효과 가 발견 되고 결과 측정 값이 작업 수행 능력 인 경우 작업이 잠재적 인 응답 범위를 늘리기가 더 어려워 질 수 있습니다. 1 [강조 추가]

있는 것으로 보인다 제비조언질문 ( 여기 위의 인용에서 설명한 것과 유사한 천장 효과를 보여주는 데이터를 분석 처리).

내 질문은 간단하거나 순진 할 수 있지만 실제로 데이터에 상한 효과가 있음을 어떻게 감지 합니까? 보다 구체적으로, 심리 테스트가 작성되어 상한 효과 (시력 검사에만 해당)로 이어지고 더 큰 범위의 값을 생성하도록 테스트가 수정되었다고 가정하십시오. 수정 된 테스트로 인해 생성 된 데이터에서 상한 효과가 제거되었음을 어떻게 알 수 있습니까? 데이터 세트 a에 천장 효과 있지만 데이터 세트 b 에 천장 효과는 없음 을 나타내는 테스트가 있습니까?

내 순진한 접근 방식은 분포 왜곡을 검사하고 기울어지지 않으면 천장 효과가 없다고 결론 내릴 것입니다. 지나치게 단순합니까?

편집하다

좀 더 구체적인 예를 추가하기 위해, 나이가 들어감에 따라 증가하지만 결국 레벨이 낮아지고 노후에 떨어지기 시작하는 잠재적 특성 x 를 측정하는 도구를 개발한다고 가정 합니다. 나는 1-14의 범위를 가진 첫 번째 버전을 만들고, 일부 파일럿을 수행하고, 그것은 천장 효과 (최대 14에서 또는 그 근처에서 많은 반응이있을 수 있음)가있는 것처럼 보입니다. 왜 그런 주장을 뒷받침하는 엄격한 방법이 있습니까?

그런 다음 측정 값을 1-20 범위로 수정하고 더 많은 데이터를 수집합니다. 트렌드가 내 예상과 더 가깝다는 것을 알지만 측정 범위가 충분히 크다는 것을 어떻게 알 수 있습니까? 다시 수정해야합니까? 시각적으로 괜찮은 것 같지만 의심을 확인하기 위해 테스트하는 방법이 있습니까?

여기에 이미지 설명을 입력하십시오

이 천장 효과를 단순히 보는 것이 아니라 데이터에서 어떻게 감지 할 수 있는지 알고 싶습니다. 그래프는 이론이 아닌 실제 데이터를 나타냅니다. 계측기의 범위를 확장하면 더 나은 데이터 분산이 가능하지만 충분합니까? 어떻게 테스트 할 수 있습니까?


1 Hessling, R., Traxel, N. & Schmidt, T. (2004). 천장 효과. Michael S. Lewis-Beck, A. Bryman 및 Tim Futing Liao (Eds.), SAGE 사회 과학 연구 백과 사전 . (p. 107). 사우 전드 옥스, 캘리포니아 : Sage Publications, Inc. doi : 10.4135 / 9781412950589.n102



답변

우선, 두 그래프가 모두 천장 효과가 있다는 명확한 증거를 제공한다고 말하고 싶습니다. 그저 시각적으로가 아니라 그 효과를 측정하려고하는 방법은 관측의 사소한 부분이 계측기 범위의 상한 근처에있는 한 관찰하는 것입니다. 일반적으로, 시험에서 최고 점수를 얻는 시험 응시자 중 중요하지 않은 부분이있는 한, 상한 효과는 항상 존재합니다.

그러나 시험 분석 기술은 정확한 점수를 기반으로 기기의 점수를 직접 해석해야했기 때문에 먼 길을 걸어 왔습니다. 이제 아이템 반응 이론을 사용하여 개별 아이템의 아이템 파라미터를 추정하고 해당 아이템을 사용하여 주제 능력을 식별 할 수 있습니다. 우리가 테스트를 너무 쉽게 만들면 물론 테스트에 여전히 천장 효과가있을 수 있습니다. 그러나 품목 반응 이론의 힘으로 인해 인구의 사소한 부분 만 천장에 닿는 것을 방지 할 수 있도록 기기에 최소한 몇 가지 고난이도의 물건을 넣을 수 있어야합니다.

질문 주셔서 감사합니다. 매우 흥미 롭습니다!


답변

거칠고 준비된 방법은 스케일이 증가함에 따라 분산을 측정하는 것일 것입니다. 이것이 감소를 나타내는 경우, 이는 천장 효과의 증거이며, 그렇지 않은 경우 천장 효과가 없습니다. 분산도의 동질성을 만들 수 있습니다. Levene의 검정은 분산이 스케일의 다른 지점에서 다른지 여부를 확인하는 데 유용 할 수 있습니다.


답변

최고점 또는 최저점 주위의 군집이 상한 / 바닥 효과에 의한 것인지를 결정하는 데있어 중요한 문제는 사례 값이 실제로 값을 “표현”하는지 여부입니다. 상한 / 바닥 효과가 발생하는 경우 최대 값 또는 최소값을 가정하더라도 일부 경우는 실제로 최대 값 또는 최소값보다 높거나 낮습니다 (성인과 어린이 모두 측정 할 수있는 매우 간단한 수학 테스트를 완료한다고 가정) 수학 능력, 둘 다 100 %를 기록했습니다. 여기서 데이터가 검열됩니다.

고유 한 상한 및 하한을 갖는 리 커트 유사 스케일과 같은 경계 스케일을 사용할 때 또 다른 시나리오가 가능합니다. 최고 점수를받은 사람들이 실제로 그 점수를받을만한 가치가 있으며 최고 점수를 얻은 모든 사람 (위의 수학 예와 같은)에는 차이가 없을 수도 있습니다. 이러한 경우 데이터가 검열되지 않고 한계에서 잘립니다.

위의 추론을 바탕으로 데이터 잘림 및 데이터 검열과 함께 주어진 데이터 세트에 맞는 절차를 고안해야합니다. 검열 모델이 데이터에 가장 잘 맞다면 천장 / 바닥 효과가 있다고 결론 지을 수 있습니다.


답변