語彙知識を測定するテスト形式の1つに、提示された語を知っているかをYes Noで回答するYesNo語彙テストがある。全ての目標語にYesと回答して満点になることを防ぐ方法として、目標語に非単語を含んでいる。YesNo語彙テストの合計点の採点方法には$I_{SDT}$や$Δm$などが提唱されているが、これらは古典的テスト理論の枠組みで合計点として扱われる指標であった。項目レベルでの潜在変数を仮定するitem response theoryを用いてYesNo語彙テストを分析した先行研究では、実在語のみもしくは非単語のみ非単語に対して個別にラッシュモデルを適用していたり (Stubbe, 2012)、実在語にYesと回答する能力 (Hit) と非単語にNoと判断する能力 (Correct Rejection) を同じ能力として扱っていた (Vitta & Nicklin, 2022; Vitta et al., 2023)。
本研究では採点方法を1つのモデルに含め、YesNo語彙テストにおける項目レベルの採点方法について、信号検知理論に基づいて比較を試みた。99名の大学生 (CEFR A2レベル) がAcademic Word Listから抽出された180項目 (うち108項目が実在語、72項目が非単語：受験者に割合は知らされない) に対して、知っていればYes、知らなければNoと回答するYesNo語彙テストに取り組んだ。そこで、Scoring 1 (Hitに1点、Correct Rejection・Miss・False Alarmに0点)、Scoring 2 (Hitに1点、Correct Rejectionに1点、MissとFalse Alarmに0点)、Scoring 3 (Hitに2点、Correct RejectionとMissに1点、False Alarmに0点)、Scoring 4 (Hitに2点、Correct Rejectionに1点、Missに1点、False Alarmに0点)、Scoring 5 (Hitに3点、Correct Rehectionに2点、Missに1点、False Alarmに0点) の5つの採点結果を比較した。分析ではBürkner (2021) に基づき、受験者と項目の事前分布に平均0、分散3の正規分布を用いた2値ロジスティック回帰および隣接ロジスティック回帰による項目応答理論を採点ごとに実施した。
主な結果は以下の通り：
スライドなどは以下のリンクからアクセス可能：
https://drive.google.com/drive/folders/1sTHH5zrCWfbjeep2SNDtnLTq8YpJYtdB?usp=share_link
詳細な結果などは以下のページを参照：