gakkai-j-0000441590 大規模テストコレクションNTCIR-1の構築（1）−プーリングと正解判定の分析− 栗山 和子 / 江口 浩二 / 野末 俊比古 / 神門 典子 全国大会 1999. 09. 28 - 1999. 09. 30 本研究の目的は、（1）大規模テストコレクションを構築する手法としてのプーリングの有効性を検証し、（2）プーリング件数が検索システムの評価に関連があるかどうか調べ、（3）正解判定の際の判定のゆれがシステムの評価に関係してくるかどうかを明らかにすることである。（1），（2）のために、NTCIR-1ワークショップの評価用テストにおいて提出された結果を用いてプーリング実験を行なった。また、プーリング法の改良であるMove-to-Front法の簡略なヴァリエーションを提案し、平均精度が上位である提出結果からの文書をプーリング法によるプールに追加する実験も同時に行なった。その結果、プーリング法の有効性、すなわち、作成された正解リストの網羅性、および、プーリングによって作成された正解文書リストの公平性が確かめられた。（3）のために、NTCIR-1の評価用セットを構築する際に行なった、異なる判定者による3種類の正解判定結果（判定者A，Bそれぞれによる判定，両者の協議による最終判定）を用いて評価実験を行なった。結果として、53件の検索課題を用いて検索結果を評価したとき、検索精度の平均は異なる正解判定リスト間においてほとんど差がなくなり、他数の検索課題を用いて評価を行なえば、判定者間の判定のゆれは評価においては問題ではないということがわかった。 テストコレクション // プーリング // 情報検索 // NTCIR // Move-to-Front法 // 網羅性 情報処理学会