gakkai-j-0000441590
大規模_テストコレクション_NTCIR - 1 の 構築 ( 1 ) − プーリング と 正解_判定 の 分析 −
栗山 和子 / 江口 浩二 / 野末 俊比古 / 神門 典子
全国_大会
1999. 09. 28 - 1999. 09. 30
本_研究 の 目的 は 、 ( 1 ) 大規模_テストコレクション を 構築 する 手法 と して の プーリング の 有効性 を 検証 し 、 ( 2 ) プーリング_件数 が 検索_システム の 評価 に 関連 が ある か どうか 調べ 、 ( 3 ) 正解_判定 の 際 の 判定 の ゆれ が システム の 評価 に 関係 して くる か どうか を 明らか に する こと で ある 。( 1 ) , ( 2 ) の ために 、 NTCIR - 1_ワークショップ の 評価用_テスト に おいて 提出 された 結果 を 用いて プーリング_実験 を 行なった 。 また 、 プーリング法 の 改良 で ある Move - to - Front法 の 簡略 な ヴァリエーション を 提案 し 、 平均_精度 が 上位 で ある 提出_結果 から の 文書 を プーリング法 に よる プール に 追加 する 実験 も 同時 に 行なった 。 その 結果 、 プーリング法 の 有効性 、 すなわち 、 作成 された 正解_リスト の 網羅性 、 および 、 プーリング に よって 作成 された 正解_文書_リスト の 公平性 が 確かめられた 。( 3 ) の ために 、 NTCIR - 1 の 評価用_セット を 構築 する 際 に 行なった 、 異なる 判定者 に よる 3種類 の 正解_判定_結果 ( 判定者_A , B それぞれ に よる 判定 , 両者 の 協議 に よる 最終_判定 ) を 用いて 評価_実験 を 行なった 。 結果 と して 、 53件 の 検索_課題 を 用いて 検索_結果 を 評価 した とき 、 検索_精度 の 平均 は 異なる 正解_判定_リスト_間 に おいて ほとんど 差 が なく なり 、 他_数 の 検索_課題 を 用いて 評価 を 行なえば 、 判定者_間 の 判定 の ゆれ は 評価 に おいて は 問題 では ない と いう こと が わかった 。
テストコレクション // プーリング // 情報_検索 // NTCIR // Move - to - Front法 // 網羅性
情報_処理_学会