gakkai-j-0000441590 大規模＿テストコレクション＿NTCIR　-　1　の　構築　（　1　）　−　プーリング　と　正解＿判定　の　分析　− 栗山 和子 / 江口 浩二 / 野末 俊比古 / 神門 典子 全国＿大会 1999. 09. 28 - 1999. 09. 30 本＿研究　の　目的　は　、　（　1　）　大規模＿テストコレクション　を　構築　する　手法　と　して　の　プーリング　の　有効性　を　検証　し　、　（　2　）　プーリング＿件数　が　検索＿システム　の　評価　に　関連　が　ある　か　どうか　調べ　、　（　3　）　正解＿判定　の　際　の　判定　の　ゆれ　が　システム　の　評価　に　関係　して　くる　か　どうか　を　明らか　に　する　こと　で　ある　。（　1　）　，　（　2　）　の　ために　、　NTCIR　-　1＿ワークショップ　の　評価用＿テスト　に　おいて　提出　された　結果　を　用いて　プーリング＿実験　を　行なった　。　また　、　プーリング法　の　改良　で　ある　Move　-　to　-　Front法　の　簡略　な　ヴァリエーション　を　提案　し　、　平均＿精度　が　上位　で　ある　提出＿結果　から　の　文書　を　プーリング法　に　よる　プール　に　追加　する　実験　も　同時　に　行なった　。　その　結果　、　プーリング法　の　有効性　、　すなわち　、　作成　された　正解＿リスト　の　網羅性　、　および　、　プーリング　に　よって　作成　された　正解＿文書＿リスト　の　公平性　が　確かめられた　。（　3　）　の　ために　、　NTCIR　-　1　の　評価用＿セット　を　構築　する　際　に　行なった　、　異なる　判定者　に　よる　3種類　の　正解＿判定＿結果　（　判定者＿A　，　B　それぞれ　に　よる　判定　，　両者　の　協議　に　よる　最終＿判定　）　を　用いて　評価＿実験　を　行なった　。　結果　と　して　、　53件　の　検索＿課題　を　用いて　検索＿結果　を　評価　した　とき　、　検索＿精度　の　平均　は　異なる　正解＿判定＿リスト＿間　に　おいて　ほとんど　差　が　なく　なり　、　他＿数　の　検索＿課題　を　用いて　評価　を　行なえば　、　判定者＿間　の　判定　の　ゆれ　は　評価　に　おいて　は　問題　では　ない　と　いう　こと　が　わかった　。 テストコレクション // プーリング // 情報＿検索 // NTCIR // Move　-　to　-　Front法 // 網羅性 情報＿処理＿学会