【信頼性に関するまとめ】②信頼性を低下させる主な要因

前回のまとめでは，信頼性が扱うのは規則性のない誤差であることが指摘されました。
今回は，信頼性を低下させる主な要因として，規則性のない誤差を生む4つのソースを取り上げます。

規則性のない誤差を生むもの全て。主な4つ。
（1）採点
採点者（採点基準）が異なること。
e.g., "color"をイギリス式に”colour"と書いても正解とするか否か。
単純なテストでも採点基準によって得点が変わる。→様々な答えが可能な検査（e.g., 個別式の知能検査，創造性尺度，投影法など)では，結果が採点者によって大きく変わることは想像に難くない。
多肢選択式問題を機械で採点→こうした誤差は少なくなる。
何を正答とするかに高度な判断を必要とするほど，採点者の違いによる信頼性の低下は無視できなくなる。
採点前に，採点者全員に明確な採点基準を指示し，採点者間での誤差が最小になるよう努めよ。

（2）テスト内容
テスト項目の多様性。
e.g., 少しずつ内容が違う数学のテスト10種類のうち，半分はピタゴラスの定理の問題が2問，もう半分は1問→ピタゴラスの定理が得意な学生は2問あるテストのほうが得点高い。
測定されている特性の真の変化でなく，テスト項目のサンプリングの違いから生じるランダムな誤差→テスト得点

（3） テスト時の状況
テスト実施時に，教示や制限時間，受験環境などについて標準化された手続きが必要。
e.g., 騒音，照明，制限時間より長（短）い制限時間→テスト得点の信頼性を下げる。

（4） 個人的状況
テスト本番での受験者の心身の状況。e.g., 体調不良で試験を受ける→別の日なら体調が回復してよい得点に。
イライラしつつパーソナリティ質問紙→別の日なら大人の対応ができ，得点が変わる。
測定される受験者の得点は変化しないが，受験当日の状態がテスト得点に影響。