項目分析＝テストデータから，視覚化や数値要約によって各項目の特徴を把握し，テストに含めるか判断すること。
IRT適用の前に行われる。
各項目の内容を吟味（内容的・表面的妥当性や出題内容・選択肢の誤り，不適当な言葉・言い回し）
↓
データに基づき，各項目で以下を統計的に判断。テスト作成で必要な作業。
(a)そのままテストに含める
(b)より適切に改善する
(c)不適当なので廃棄する（IRTの文脈では以降の分析から除外）＝項目分析の主目的。
項目パラメタの推定では，全項目の情報を相互に利用。#ある項目のパラメタ推定に，他の項目の情報を利用。
十分に機能しない項目（e.g., 正答率が極端に高い/低い，CTTの識別力がほぼ0 or －）
→他の項目パラメタの推定にも影響。推定のための数値計算が不可能になる場合も。⇒項目分析で除外。
また，項目分析の結果は作問者に有効なフィードバック。
項目分析＝CTTに基づく方法。受験者集団の特徴に大きく依存。
項目分析が正しく機能するためには，受験者集団が母集団から「偏りなく」サンプリングされている必要あり。
(a)受験者集団が母集団をよく代表している。
(b)受験者集団に，テストで測定したい能力が高い人から低い人まで幅広く含まれる。
能力レベルが同じような人ばかり→テスト得点のばらつき小→識別力の評価困難。
受験者数 正答率を求めるだけなら，（受験者集団が上記2つの条件を満たす場合）少ない受験者で可。
しかし，識別力や信頼性の計算には多くの受験者（項目数にもよるが少なくとも200以上）必要とされる。
項目数 あまりに少ないと，内容的にも統計的にも，それらの項目が共通して測っているものを明らかにしにくい。
IRTの前に受験者集団に依存する項目分析→「受験者特性と項目特性とを切り離して評価できる」というIRTの利点と矛盾？
⇒その利点は理論上の話。
実際は，受験者集団の特性が，IRTの項目パラメタの推定結果に影響。
(e.g., 全員正答(or誤答）だと，項目パラメタの周辺最尤推定は機能しない）
現実場面で，限られたデータから項目の適否の判断，項目パラメタの精度よい推定のためには，
能力レベルに一定の幅を持つ受験者集団の確保が重要。
| Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする |
0 件のコメント:
コメントを投稿