項目分析システム

ダウンロード

　利用されたいシステムをクリックして，システムファイル，マニュアル，サンプルデータをダウンロード，もしくはURLを開いてください。

• 項目分析 Excelシステム（日本語版）
• 項目分析 Excelシステム（英語版）
• 項目分析 Rスクリプト
• 項目分析 Webシステム

ファイルの準備

　項目分析システムを使うにあたって，いずれのシステムにも共通して必要となるファイルは，解答データファイルと正答キーファイルの2つです。ここでは，これら2つのファイルについて，ファイルの設定やデータ入力の際の条件等について説明します。

解答データファイル

　多枝選択式項目からなるテストの解答データを保存しておくExcelまたはCSVファイルです。「SampleResponseData2(MC).csv」などがこれに該当します。

　Excelシステムの場合，ファイルの拡張子は「xlsx」「xls」「csv」のいずれでもかまいません。
　Rスクリプトの場合は，カンマ区切りのCSVファイルを用いるようにしてください。（xlsxファイルやUTF-8 CSVファイルも読み込むことは可能ですが，read.table の箇所のスクリプトを修正する必要があります。）
　Webシステムの場合は，xlsxファイルを用いるようにしてください。

　いずれの場合も以下のような制約がありますので，必ずこの形式でファイルを作成してください。変数名については，一般的な規則以外にとくに制限はありません。

• 1行目は変数名を入れてください。データは2行目から入力してください。
• 1列目（A列）は，受験番号，学生IDなど，個人を識別できる変数にしてください。
• 2列目（B列）から，学年，性別などの属性変数を設定することができます。列数に制限はありません。属性変数がない場合は省略することができます。
• 属性変数が終わった次の列からテスト項目の列を作成してください。
• 最終のテスト項目列より右の列には何も入力しないでください。
• テスト項目のデータは，すべての項目について同じ選択枝記号を用いてください。同じ記号であれば，数字，アルファベット，ひらがななどの文字種は問いません。
• 無解答は空白としてください。

• 複数選択項目，つまり，複数の選択枝すべてを正しく選択した場合のみ得点できる項目の解答は，「A,B」のように選択した選択枝の記号を半角カンマで区切って入力してください。「AB」（ベタ打ち），「A B」（スペース空け），「A，B」（全角カンマ区切り）では入力しないでください。。
• 「A,B」と入力しても「B,A」と入力しても，同じとみなします（順不同解答）。

• 既に採点されたデータ（例えば，正答を1点，誤答を0点として入力。部分得点は扱えません）を読み込んで分析することも可能です。なお，Rスクリプトで分析する場合，採点データのカテゴリは，OPTIONS <- c("0","1") のように，数値でも文字列として指定してください。

正答キーデータファイル

　多枝選択項目の正答記号を保存しておくExcelまたはCSVファイルです。「SampleAnswerKey(MC).csv」がこれに該当します。拡張子が「xlsx」「xls」「csv」のいずれかである必要があります。

　Rスクリプトで読み込む場合は，カンマ区切りのCSVファイルを用いるようにしてください。（xlsxファイルやUTF-8 CSVファイルも読み込むことは可能ですが，read.table の箇所のスクリプトを修正する必要があります。）

　以下のような制約がありますので，必ずこの形式でファイルを作成してください。

• 1行目は変数名を入れてください。1列目（A列）は「テスト名」などとし，2列名からテスト項目名を入れてください。
• テスト項目名は，解答データのテスト項目名と一致させてください。解答データファイルと正答キーファイルの項目名が一致しない場合はエラーになります。解答データファイルのテスト項目名をコピーし，正答キーデータファイルのテスト項目名としてペーストすることをお勧めします。
• 2行目1列（A列）に具体的なテスト名（国語など）を入力し，2列目（B列）以降に，各テスト項目の正答キー（正答記号）を入れてください。解答データの記号と正答キーデータの記号の種類が一致しない場合はエラーになります。
• 正答キーファイルに受験番号や属性変数などは入れないでください。
• 3行目以降，また，最終テスト項目以降の列には何も入力しないでください。

• 複数選択項目の場合は，「A,B」のように各正答キーは半角カンマで区切ってください。「AB」（ベタ打ち），「A B」（スペース空け），「A，B」（全角カンマ区切り）では入力しないでください。

• 既に採点されているデータの場合は，正答キーを正答得点（0/1採点の場合は1）を設定してください。

Excelシステムの使い方

　ここでは，Excelの項目分析システムの使い方を説明します。日本語版で説明しますが，英語版も同様です。

システムファイル

　解答データと正答キーを読み込み，分析を実行・保存するExcelマクロファイルです。ファイル名「テスト項目・解答データ分析ツール.xlsm」の拡張子「.xlsm」は変更できませんが，「テスト項目・解答データ分析ツール」の部分は変更することができます。名前を変えて保存することにより，分析結果を保存することが可能になります。

システムの起動

　ダウンロードしたシステムファイル「テスト項目・解答データ分析ツール.xlsm」をダブルクリックしてください。以下のような表示が出る場合は，「コンテンツの有効化」をクリックしてください。

インプットファイルの設定

　「メニュー」シートの「解答データ(Excel)」ボタンを押すと，解答データを選択する画面が開きます。解答データファイルを選び「OK」を押して，解答データを設定してください。
　同様に，「正答キーデータ(Excel)」ボタンを押すと，正答キー（正答記号）データを選択する画面が開きます。正答キーデータファイルを選び「OK」を押して，正答キーデータを設定してください。

属性情報の設定

　「属性情報」で，学年，性別などの属性変数の開始列と終了列を，大文字アルファベットで設定してください。

解答選択枝の設定

　「解答選択枝」の欄に，解答に使われる記号をすべて設定してください。記号の種類は問いません。項目により選択枝数が異なる場合は，最大選択枝数分の記号を設定してください。0/1採点されたデータの場合は，「0」と「1」を設定します。

許容マージンについて

　本システムでは，得点の高い受験者が易しい項目（正答率の大きい項目）に誤答した場合，また，得点の低い受験者が難しい項目（正答率の小さい項目）に正答した場合のように，当該受験者の得点からは想像しにくい解答について，受験者分析シートの当該セルに色を付けて表示します。そのとき，色付けしない範囲を許容マージンで設定します。0～100の値で設定でき，値が大きいほうが許容度が高く，色付きセルが少なくなります。デフォルトは50です。色付けの設定は，『■分析結果の内容・見方』の『５．「受験者分析」』を見てください。

実行

　上記の設定がすべて終わったら，「実行」ボタンを押して分析を実行します。分析が無事実行されると「完了しました。」と表示されるので「OK」ボタンを押します。そうすると，各分析の結果を収めたシートが作成されます。
　分析が実行できない場合はエラーメッセージが表示されます。

分析結果の保存

　システムファイルの名前を変更して保存すると，分析結果を保存することができます。「ファイル」→「名前を付けて保存」とし，ファイル名を変更して「保存」を押してください。

新しい分析の実行

　新しい別の分析を実行するには，既存のシステムファイルを開き，「初期化」ボタンを押します。すると，解答データファイル，正答キーファイル，分析結果シートが削除されます（属性情報と解答選択枝は削除されません）。この状態にしてから，新規の分析のための設定を行ってください。新規に分析した実行結果を保存するには，また名前を変えてシステムファイルを保存します。

分析結果の内容

　分析が正常に実行されると，Excelシステムの場合，「解答データ」「正答キー」「テスト得点」「項目全体」「受験者分析」のシート，および各項目名のシート（項目数分）が作成されます。
　Rスクリプトでは，「採点データ」「テスト得点分布」「項目分析表」「各項目の詳細分析結果」「トレースライン」の5つのファイルが生成されます。
　各システムの出力結果は同様ですが，データのソート方法の違いにより，D指標の値やトレースラインの形状が若干異なる場合があります。（結果の解釈が変わるほど大きいものではありません。）

「解答データ」シート

　読み込んだ解答データを表示するシートです。

「正答キー」シート

　読み込んだ正答キーデータを表示するシートです。

　複数選択項目がある場合は次のようになります。

　0/1採点データの場合は次のようになります。。

「テスト得点」シート

　各受験者のテスト得点（正答数）を計算し，項目数，受験者数，平均，標準偏差，最小値，中央値，最大値，α（アルファ）係数を表示します。α係数はテストの信頼性を表す指標です。信頼性とは測定誤差の小ささであり，α係数の値が大きいほど測定誤差が小さく，テスト得点が信頼できることを表します。最大値は＋1です。
　テスト得点を得点率（得点÷項目数×100）に変換した場合のこれらの値も求めます。項目数，受験者数，α係数は，得点と得点率で同じ値となります。
　また，テスト得点のヒストグラムを表示します。

「項目全体」シート

　項目分析の結果の概要を以下のような表で表示します。

　複数選択項目がある場合は次のようになります。

　0/1採点データの場合は次のようになります。。

• 項目：項目名です。
• 受験者数：受験者数です。全項目について同じ値になります。
• D値：項目の識別力を表す指標です。
  　識別力とは，高得点者ほど正答し低得点者ほど誤答するという傾向の強さです。D値は，得点上位27%の受験者の平均正答率から，得点下位27%の受験者の平均正答率を引いた値で，－100%～＋100%の値をとります。値が大きいほど識別力は大きくなります。値が負になる場合（低得点者ほど正答できる場合），赤色文字で表示されます。
• I-T相関：項目の識別力を表す指標です。
  　項目得点と，その項目を除いた残りの項目の合計得点との相関係数です。－1～＋1の値をとり，値が大きいほど識別力は大きくなります。値が負になる場合（低得点者ほど正答できる場合），赤色文字で表示されます。
• α係数：テストの信頼性を表す指標です。全項目で同じ値が表示されます。
• 削除α：その項目を除いた残りの項目でテストを構成したときのα係数です。
  　α係数 ≧ 削除α となる場合，その項目はそのテストに有用と判断されます。
  　α係数 ＜ 削除α となる場合，その項目はそのテストに有用でないと判断されます。
• 正答キー：その項目の正答キー（正答記号）です。
• 選択枝記号：選択枝記号を変数名に用い，当該選択枝の選択率(%)を表示します。色の付いた選択枝が正答選択枝です。
• 無答：無答率(%)です。複数選択項目では，選択数が不足していたり，同じ選択枝を重複して選択している場合も，無答として集計されます。
• すべての選択枝選択率と無答率を合計すると，正答キー数×100%になります。

「受験者分析」シート

　各受験者の結果をまとめた以下のような表を表示します。

• 整理番号・属性変数：解答データファイルの個人を識別する変数，属性変数のデータです。変数名は解答データにある変数名となります。変数名は解答データにある変数名となります。
• 得点：各受験者のテスト得点（正答数）です。
• 得点率：各受験者の得点率です。
• 各項目：各受験者の当該項目の正誤情報を1か0で表します。1は正答，0は誤答です。
  　得点の高い受験者が易しい（正答率の大きい）項目に誤答した場合，セルが黄色で表示されます。
  　得点の低い受験者が難しい（正答率の小さい）項目に正答した場合，セルが水色で表示されます。

　色を付ける基準は次の通りです。得点Xの満点から数えたときの累積相対度数をB，許容マージンをD，項目正答率をPとするとき，
　B＋D < P となる項目：X点取った受験者に取って許容範囲を超えて易しい項目に誤答
　B－D > P となる項目：X点取った受験者に取って許容範囲を超えて難しい項目に正答
した場合に，当該セルに色を付けます。

「各項目」の分析シート

　項目ごとに，詳細な項目分析の結果を表示します。
　項目名，受験者数，正答率，D値，I-T相関，α係数，削除α，正答キー（正答記号）を表示します。
　受験者全体，得点上位27%群，中位46%群，下位27%群のそれぞれについて，各選択枝の選択率，無答率を表示します。
　識別指標として，各選択枝および無答について，その選択枝を正答選択枝とみなした場合のD値とI-T相関を表示します。正答選択枝のこれらの値は＋，誤答選択枝のこれらの値は－になることが望まれます。
　項目のトレースライン（解答率分析図）を表示します。これは，得点上位群，中位群，下位群の各選択枝の選択率を，選択枝ごとに直線で結んだ図です。正答選択枝のグラフは太線で表示されます。正答選択枝のグラフは右上がり，誤答選択枝のグラフは右下がりになることが望まれます。

　複数選択の場合は次のようになります。

エラーメッセージ

　ファイルを指定しないで実行した場合　→　ファイルを指定してください

　前の分析結果（シート）が残っている場合　→　初期化ボタンを押してください

　解答データと正答キーの項目名に違いがある場合　→　項目名を一致させてください
　属性変数の終了列の設定に誤りがある場合　→　正しい列を設定してください

　属性情報の終了列を入力しなかった場合　→　属性情報の終了列を入力してください

　解答選択枝に設定した記号，解答データの記号，正答キーの記号のいずれに種類の異なるものがある場合　→　記号の種類を一致させてください

　許容マージンに範囲外の値を設定した場合　→　0～100の値で設定してください

Rスクリプトにおける設定

　Rスクリプトを使って項目分析を行うには，まずRを起動して項目分析を実行するスクリプトを開きます。以下の各値を設定して，スクリプト全体を実行します。Rの使い方については，Rのスクリプト集を参照してください。

設定項目

• 解答データファイル名
• 正答キーデータファイル名
• テスト項目が始まる列の番号(数字)
• 選択枝に用いた記号。0/1データを分析するときも，数値ではなく文字として扱う
• トレースラインを描くときの群の数
• Kelleyの基準 (27%, 46%, 27%) を使うか否か
• 0/1採点したデータを保存するファイル名
• テスト得点の記述統計量を保存するファイル名
• 全項目の項目分析の結果を保存するファイル名
• 各項目の詳細な分析結果を保存するファイル名
• トレースラインの図を保存するPDFファイル名

#「<-」の左辺の値を変えてはいけない。右辺にファイル名や値などを設定する。

# Data File Name（解答データ）
ansFileName <- "SampleResponseData2(MC).csv"

# Key File name（正答キーデータ）
keyFileName <- "SampleAnswerKey(MC).csv"

# Column Number of First Test Item:（テスト項目が始まる列の番号(数字)）
firstItemCol <- 5

# Option Categories（選択枝に用いた記号）
OPTIONS <- c("A","B","C","D")
# OPTIONS <- c("0","1")

# Number of groups in trace line（トレースラインを描くときの群の数）
NGROUP <- 3

# Following Kelly's percentages（Kelleyの基準(27%, 46%, 27%)を使うか否か）
KELLEY <- TRUE 

# Score output file name（0/1採点したデータを保存するファイル名）
scoFileName <- "ScoreData.csv"

# Total Score Summary output file name（テスト得点の記述統計量を保存するファイル名）
totFileName <- "TotalSummary.csv"

# Item Analysis output file name（全項目の項目分析の結果を保存するファイル名）
itaFileName <- "ItemAnalysis.csv"

# Result of Each Item output file name（各項目の詳細な分析結果を保存するファイル名）
reiFileName <- "ResultEachItem.csv"

# Trace line output file name（トレースラインの図を保存するPDFファイル名）
trlFileName <- "TraceLine.pdf"

Rの出力

　システムが正常に実行されると，以下の5つのファイルが，Rスクリプトファイルと同じフォルダに生成されます。

• 0/1採点した得点データ
• テスト得点の記述統計量
• 全項目の項目分析の結果
• 各項目の項目分析の詳細な結果
• トレースライン

得点データ

　各項目：各項目の0/1得点
　Total：合計得点
　Prop ：合計得点の得点率

テスト合計得点および得点率の記述統計量

　Items：項目数
　N：受検者数
　Mean：平均値
　SD：標準偏差
　Min：最小値
　Med：中央値
　Max：最大値
　Alpha:アルファ係数

全項目の項目分析の結果

　Item：項目名
　N：受験者数
　P：正答率
　D：D値（上位群の正答率 － 下位群の正答率）
　Corr：I-T相関係数（項目得点と，合計点から当該項目の得点を引いた得点との相関係数）
　Alpha：α係数（テスト全体のα係数なので，全項目に同じ値が入っている）
　Dalpha：当該項目を削除したときのα係数
　Key：正答キー
　o選択枝：当該選択枝の選択率
　Missing：無答率

各項目の項目分析の詳細な結果

　Item：項目名
　Key：正答キー
　N：受験者数
　P：正答率
　D：D値（上位群の正答率 － 下位群の正答率）
　Corr：I-T相関係数（項目得点と，合計点から当該項目の得点を引いた得点との相関係数）
　Alpha：α係数（テスト全体のα係数なので，全項目に同じ値が入っている）
　Dalpha：当該項目を削除したときのα係数

　選択率
　All：受験者全体
　U：上位群
　M：中位群
　L：下位群
　Missing：無答率

　識別力
　D：当該選択枝のD値（上位群の選択率 － 下位群の選択率）
　Corr：当該選択枝のI-T相関家数
　　　（当該選択枝の選択の有無と，合計点から当該項目の得点を引いた得点との相関係数）

トレースライン

　太線：正答枝
　細線：誤答枝
　－：無回答