<REC>
<ACCN>gakkai-j-0000441590</ACCN>
<TITL TYPE="kanji">大規模_テストコレクション_NTCIR - 1 の 構築 ( 1 ) − プーリング と 正解_判定 の 分析 −</TITL>
<AUPK TYPE="kanji">栗山 和子 / 江口 浩二 / 野末 俊比古 / 神門 典子</AUPK>
<CONF>全国_大会</CONF>
<CNFD>1999. 09. 28 - 1999. 09. 30</CNFD>
<ABST TYPE="kanji"><ABST.P>本_研究 の 目的 は 、 ( 1 ) 大規模_テストコレクション を 構築 する 手法 と して の プーリング の 有効性 を 検証 し 、 ( 2 ) プーリング_件数 が 検索_システム の 評価 に 関連 が ある か どうか 調べ 、 ( 3 ) 正解_判定 の 際 の 判定 の ゆれ が システム の 評価 に 関係 して くる か どうか を 明らか に する こと で ある 。</ABST.P><ABST.P>( 1 ) , ( 2 ) の ために 、 NTCIR - 1_ワークショップ の 評価用_テスト に おいて 提出 された 結果 を 用いて プーリング_実験 を 行なった 。 また 、 プーリング法 の 改良 で ある Move - to - Front法 の 簡略 な ヴァリエーション を 提案 し 、 平均_精度 が 上位 で ある 提出_結果 から の 文書 を プーリング法 に よる プール に 追加 する 実験 も 同時 に 行なった 。 その 結果 、 プーリング法 の 有効性 、 すなわち 、 作成 された 正解_リスト の 網羅性 、 および 、 プーリング に よって 作成 された 正解_文書_リスト の 公平性 が 確かめられた 。</ABST.P><ABST.P>( 3 ) の ために 、 NTCIR - 1 の 評価用_セット を 構築 する 際 に 行なった 、 異なる 判定者 に よる 3種類 の 正解_判定_結果 ( 判定者_A , B それぞれ に よる 判定 , 両者 の 協議 に よる 最終_判定 ) を 用いて 評価_実験 を 行なった 。 結果 と して 、 53件 の 検索_課題 を 用いて 検索_結果 を 評価 した とき 、 検索_精度 の 平均 は 異なる 正解_判定_リスト_間 に おいて ほとんど 差 が なく なり 、 他_数 の 検索_課題 を 用いて 評価 を 行なえば 、 判定者_間 の 判定 の ゆれ は 評価 に おいて は 問題 では ない と いう こと が わかった 。</ABST.P></ABST>
<KYWD TYPE="kanji">テストコレクション // プーリング // 情報_検索 // NTCIR // Move - to - Front法 // 網羅性</KYWD>
<SOCN TYPE="kanji">情報_処理_学会</SOCN>
</REC>