大規模テストコレクションとコンペティション：研究室型実験から現実の検索システムへ

目次

大規模テストコレクションとコンペティション：研究室型実験から現実の検索システムへ

主張

日本語の大規模テストコレクション

なぜ、日本語大規模テストコレクションか

大規模テストコレクションの構築

コンペティションの期待される効果

NTCIR-１（テストコレクション１)

NTCIRワークショップ

プーリングは妥当か： システム数

プーリングは妥当か：システム数プーリング範囲のシステム評価への影響

プーリングは妥当か：上位X件が必要か予備テストにおける正解文書数の分析

プーリングは妥当か：上位X件が必要か予備テスト q001の場合

プーリングは妥当か：上位X件が必要か予備テスト q028の場合

NTCIR-１を用いた研究成果

コンペティションで何がわかる？ 随時検索

コンペティションで何がわかる？ 随時検索

コンペティションで何がわかる？ 随時検索

コンペティションで何がわかる？使用した検索課題の項目

今後の課題：現実の検索システムへの適応

Thanks！