<REC>
<ACCN>gakkai-j-0000441590</ACCN>
<TITL TYPE="kanji">大規模＿テストコレクション＿NTCIR　-　1　の　構築　（　1　）　−　プーリング　と　正解＿判定　の　分析　−</TITL>
<AUPK TYPE="kanji">栗山 和子 / 江口 浩二 / 野末 俊比古 / 神門 典子</AUPK>
<CONF>全国＿大会</CONF>
<CNFD>1999. 09. 28 - 1999. 09. 30</CNFD>
<ABST TYPE="kanji"><ABST.P>本＿研究　の　目的　は　、　（　1　）　大規模＿テストコレクション　を　構築　する　手法　と　して　の　プーリング　の　有効性　を　検証　し　、　（　2　）　プーリング＿件数　が　検索＿システム　の　評価　に　関連　が　ある　か　どうか　調べ　、　（　3　）　正解＿判定　の　際　の　判定　の　ゆれ　が　システム　の　評価　に　関係　して　くる　か　どうか　を　明らか　に　する　こと　で　ある　。</ABST.P><ABST.P>（　1　）　，　（　2　）　の　ために　、　NTCIR　-　1＿ワークショップ　の　評価用＿テスト　に　おいて　提出　された　結果　を　用いて　プーリング＿実験　を　行なった　。　また　、　プーリング法　の　改良　で　ある　Move　-　to　-　Front法　の　簡略　な　ヴァリエーション　を　提案　し　、　平均＿精度　が　上位　で　ある　提出＿結果　から　の　文書　を　プーリング法　に　よる　プール　に　追加　する　実験　も　同時　に　行なった　。　その　結果　、　プーリング法　の　有効性　、　すなわち　、　作成　された　正解＿リスト　の　網羅性　、　および　、　プーリング　に　よって　作成　された　正解＿文書＿リスト　の　公平性　が　確かめられた　。</ABST.P><ABST.P>（　3　）　の　ために　、　NTCIR　-　1　の　評価用＿セット　を　構築　する　際　に　行なった　、　異なる　判定者　に　よる　3種類　の　正解＿判定＿結果　（　判定者＿A　，　B　それぞれ　に　よる　判定　，　両者　の　協議　に　よる　最終＿判定　）　を　用いて　評価＿実験　を　行なった　。　結果　と　して　、　53件　の　検索＿課題　を　用いて　検索＿結果　を　評価　した　とき　、　検索＿精度　の　平均　は　異なる　正解＿判定＿リスト＿間　に　おいて　ほとんど　差　が　なく　なり　、　他＿数　の　検索＿課題　を　用いて　評価　を　行なえば　、　判定者＿間　の　判定　の　ゆれ　は　評価　に　おいて　は　問題　では　ない　と　いう　こと　が　わかった　。</ABST.P></ABST>
<KYWD TYPE="kanji">テストコレクション // プーリング // 情報＿検索 // NTCIR // Move　-　to　-　Front法 // 網羅性</KYWD>
<SOCN TYPE="kanji">情報＿処理＿学会</SOCN>
</REC>