項目分析

項目分析とは

　テストは通常，項目（設問）の集合体として構成されますから，良いテストであるためには，1つひとつの項目が良い項目である必要があります。そのためになされるのが項目分析（Item Analysis）です。

　項目分析は，受検者の回答データに基づいて項目の特性を明らかにし，項目の修正法などを検討する一連のプロセスです。項目分析では，回答データからいくつかの指標の値を算出し，それらと設問内容を見て項目の検討を行います。

　以下では，次の問題例を使って，項目分析で用いられる指標や分析結果の可視化について説明をします。

<先頭へ戻る>　<テスト研究のページへ戻る>

項目分析で用いられる指標

次の3つの指標は， 項目の難易度や応答率に関する指標です。

正答率（Proportion of Correct）

無答率（Proportion of Non-response）

選択率（Choice Ratios / Item Responses）

<先頭へ戻る>　<テスト研究のページへ戻る>

次の2つの指標は，項目の識別力に関する指標です。

　識別力（Discrimination）とは，当該項目の正誤と，テスト得点の高低との関連の強さを，各項目について評価したものです。識別力が大きい項目では，テスト得点が低い受検者はその項目に誤答し，テスト得点が高い受検者はその項目に正答するという傾向が観察されます。反対に，識別力が小さい項目では，テスト得点は低くてもその項目には正答したり，テスト得点は高くてもその項目には誤答するということが観察されます。テスト得点に基づいて受検者の個人差を評価するテストでは，識別力は大きいことが期待されます。

　主な識別力の指標は，次に紹介するD指標とI-T相関係数です。ほかに，当該項目を削除したときのアルファ係数の値の増減を識別力の指標とすることもあります。

D指標（Index of Discrimination）

I-T相関係数（Item-Total Correlation Coefficient）

<先頭へ戻る>　<テスト研究のページへ戻る>

トレースライン

<先頭へ戻る>　<テスト研究のページへ戻る>

項目分析の例

　ここでは，次の問題を使って，項目分析の例を紹介します。

項目分析表・トレースライン

正答枝Cについて

　まず，項目統計量（左表）の「C」の選択枝のところを見てみましょう。全体の選択率を見ると0.60となっていますから，受検者全体の60%がこの問題に正答できたことがわかります。問題作成者は，受検者全体の正答率が自分の予想と比べてどうであったか，評価するようにしましょう。

　次に，低群・中群・高群に分けて選択率を見てみましょう。項目統計量（左表）の値と，トレースライン（右図）のCの折れ線は，どちらも群ごとの正答選択率を表しています。群が高くなるにつれて，正答選択率が上がっている様子がわかります。正答選択率は，トレースライン上で右上がりになっていることが求められます。低群で正答が選ばれにくく，高群で正答が選ばれやすくなっていることが，正答選択枝がきちんと機能していることの証拠になるためです。正答選択率が右上がりになっていなかったら，正答がきちんと正答になっているか，確認する必要があります。

　「低群で選択率が低く，高群で選択率が高い」という性質は，識別力の指標にも反映されます。項目統計量を示した左表では，D指標とI-T相関という2種類の識別力の指標が示されています。D指標は0.16となっていますから，低群と高群との間で，16%の選択率の差があることがわかります。この値が大きければ，「低群で選択率が低く，高群で選択率が高い」という特徴がより顕著であるということになります。

　一方，I-T相関のほうは0.04となっています。この問題に正解することと，全体の得点とは特に関係なさそうです。本来ならば，もうすこし高いI-T相関がほしいところです。

誤答枝A,Eについて

　次に，誤答枝A・誤答枝Eを見てみましょう。両者に共通しているのは，選択率がとても低いということです。どうしてこれらの選択枝は，これほど選ばれなかったのでしょうか？　その理由を考えてみましょう。

　これらの誤答枝が選ばれなかった背景として，受検者がそれぞれの誤答枝からイメージされるような間違いをしなかったことが考えられます。誤答枝Aは，それぞれの食塩水の濃度「3%」「5%」を食塩の量と考え，食塩の量を8gとした場合の食塩水の濃度になっています。誤答枝Eも同様に，それぞれの食塩水の濃度を「30g」「50g」と考え，食塩の量を80gとした場合の食塩水の濃度になっています。このテストの受検者のほとんどは，食塩の濃度を食塩の量と勘違いしなかったようです。これは，多枝選択問題執筆ガイドラインの「いずれの選択枝ももっともらしいこと」ができていない事例だと言えるでしょう。

　また，これら2つの選択枝の識別力も低い値になっています。誤答枝AのD指標は-0.01で，低群と高群との間の選択率が1%しか異なりません。誤答枝のI-T相関に至ってはプラスの値を示しています。誤答枝EのD指標は-0.03，I-T相関は-0.01です。どちらの選択枝も，能力の高低とそれぞれの選択枝を選ぶかどうかとは無関係のようです。

　誤答枝に関して，選択率が0.05を下回っていたり，低群で選ばれていなかったりする場合，誤答枝としての機能を果たしていないと判断します。誤答枝A・誤答枝Eについては，受検者がどのような間違いをするのか改めて検討し，選択枝を作成しなおす必要があるでしょう。

誤答枝Bについて

　誤答枝Bの選択率を見てみると，全体の選択率が0.19 (19%)となっています。ある程度の人数の受検者は，この選択枝を選んでいたようです。トレースラインを見ると，群が高くなるにつれて選択率が下がっている様子が見てとれます。識別力のところを見ると，D指標は-0.12となっており，低群と高群で12％も選択率が異なることがわかります。誤答枝Bは，うまく機能していたと判断できます。

　誤答枝Bは，それぞれの食塩水の濃度「3%」と「5%」の間をとって「4%」とした誤答になっています。このような誤答は，もしかしたら，食塩水の濃度計算の方法を知っているかどうか，うまくその方法を適用できるかどうかという能力を反映するかもしれません。

誤答枝Dについて

　誤答枝Dの全体の選択率は0.12 (12%) ですが，各群の選択率もだいたい同程度 (0.11～0.12) 程度で，能力群による変化がみられません。識別力の指標はいずれも-0.01とマイナスの値を示していますが，かなり小さな値であるといえるでしょう。低群と高群で選択率がそれほど変わらないということは，受検者の識別に役になっていないということを意味しています。

　誤答枝Dは，正答の4.4%に似せた誤答として「5.5%」としています。受検者の能力にかかわらず，勘や当て推量で選んだ場合の誤答かもしれません。受検者の能力にかかわらず起こりうる「計算まちがい」の結果かもしれません。

<先頭へ戻る>　<テスト研究のページへ戻る>

項目分析に基づく項目修正

　ここでは，上の項目分析の結果に基づいて，項目を修正する例を紹介します。誤答枝を作成する際には，当て推量も含めて，受検者がどんなふうに解答しているかをイメージすることが重要になりますので，誤答枝の修正例をいくつか提案してみます。

誤答例1：食塩の量の計算をまちがえる

　上で想定した解答プロセスでは，食塩水をあわせるときに，食塩の量を計算するプロセスが必要になります。ここで，食塩の量を誤って計算したと仮定しましょう。
　本来ならば，
　　300×0.03 ＋ 700×0.05 ＝ 44 (g)
となるところですが，試しに，
　　300×0.3 ＋ 700×0.05 ＝ 90 + 35 = 125 (g)　　…（A）
　　300×0.03 ＋ 700×0.005 ＝ 9 + 3.5 = 12.5 (g)　…（B）
としてみましょう。これを食塩水の合計1000gで割ると，それぞれ12.5% (A)，1.25% (B) になります。
　このような誤答を選択枝の中に含めてみたときに，受検者がこのような選択枝を選んだ場合，食塩の量をまちがえて計算した可能性が見えてくるかもしれません。

誤答例2：2つの食塩水をまぜた後の濃度の理解

　上の2つの誤答は，どちらも計算まちがいとしてはあり得ます。しかし，「2つの食塩水をまぜると，まぜた食塩水の濃度はどうなるか？」を考えられれば，薄いほうよりも薄くはならず，また，濃いほうよりも濃くなることはないと気づくでしょう。よって，食塩水をまぜるという操作を（直観的にも含めて）定性的に理解している受検者は，上の2つの誤答を現実的でないと考えるかもしれません。

　上の問題で，3%から5%の間となる選択枝は「B. 4.0%」と「C. 4.4%」しかありませんでしたから，正しい計算ができた受検者はCを選び，正しい計算ができなかった受検者は（直観的に）Bを選んだ可能性があります。そうなると，3%から5%の間の誤答枝も必要になることがわかります。たとえば，1000gを食塩水の量ではなく，水の量だと考えた場合は，次のようになります。
　　300×0.03 ＋ 700×0.05 ＝ 44 (g)
　　1000（水）+ 44（食塩）＝1044
　　44 ÷ 1044 ＝ 0.421　　→　4.2%

　項目分析の結果を見ると，誤答枝Bはうまく機能していたようでしたので，誤答枝Bはそのまま使うことにしましょう。そうすると，修正後の問題は以下のような感じになるでしょうか。最初の誤答の1.25%にあわせて，小数第2位までを表示してみました。

<先頭へ戻る>　<テスト研究のページへ戻る>