概要

NTCIR ワークショップ

NTCIRプロジェクトのトップページ　　　　　　プロジェクト開始時の提案書　　　　　　　

NTCIRワークショップは、情報検索と、テキスト要約・情報抽出などのテキスト処理技術の研究をより発展させることを目的とした評価会議です。1997年より日本学術学術振興会未来開拓研究事業と学術情報センターの支援をうけ、2000年度は、日本学術学術振興会未来開拓研究事業と国立情報学研究所情報学資源研究センター、2001年度以降は、国立情報学研究所情報学資源研究センターの支援により開催されます。

NTCIRワークショップの目的は、

1. 繰り返し利用できる大規模な実験用データセットと、システム間の比較を可能にする共通の評価枠組みを提供することによって、情報検索やテキスト処理技術と関連領域の研究の一層の発展を図る
2. システム間の比較、研究上のアイディアの交換などを行う研究者フォーラムを作る
3. 情報検索やテキスト処理技術の評価手法および繰り返し実験に利用可能な大規模データセット構築法について研究を行う

「評価会議」は、通常、実験用のデータセットと実験結果を評価するための統一された手順が用意されます。評価会議に参加するグループは、それぞれ、NTCIR企画グループが用意したデータを用い、さまざまなアプローチで研究と実験を行います。 情報検索やテキスト処理の研究において、繰り返し実験に利用できる大規模な標準データセットが重要であることは、広く認められており、評価会議は、そのようなデータと研究上のアイディアや技術の交換・移転のための研究者のフォーラムを提供することによって、研究を進めていく、新しいタイプの共同研究です。

第1回NTCIRワークショップは、全体のプロセスは1998年１１月の訓練用データ配布から開始し、1999年8月30〜9月1日に東京のKKRホテルで開催した成果報告会で幕を閉じました。第1回ワークショップでは、6カ国28研究グループがタスクを遂行し、その結果を提出しました。 2000年4月からは、同様の目的をもって活動してきたIREXグループと合同し、また、象を日本語と英語だけではなく、アジア言語に拡大し、国立台湾大学の研究グループの協力を得ています。テキスト要約中国語検索などの新しいタスクはこれらの協力関係によって実現しました。第2階ワークショップは、2000年6月から開始し、2001年3月7-9日に、東京の国立情報学研究所で成果報告会を開催しました。8ヶ国45の研究グループがタクスへの参加登録をし、36グループがひとつ以上のタスクの結果を提出しました(表参照）。第3回ワークショップは、2001年8月の参加者募集から始まり、2002年10月に成果報告会を開催する予定です。

NTCIRプロジェクトでは、ごく初期から、「伝統的な実験室型の情報検索システムの評価テスト」と「より新しい課題」という２つの方向を目指してきました。実験室型の評価テストでは、とくに、(1)日本語や他のアジア言語文書の検索(IR)と、(2)言語横断検索に重点をおいています。より新しい課題では、(3)文書検索から「情報」検索へという動きと、(4)より現実的な評価法、たとえば、テキスト要約の評価手法、多段階の適合性判定に適した評価指標、特定の文書タイプやそのタイプの文書をよく利用する利用者の特性やその利用法に適した評価法に関する研究などに力を注いでいます。

第１回ワークショップで使用したテトコレクション１(NTCIR-1）は、日本語と英語文書を用いた情報検索および用語抽出研究用のテストコレクションで、日本国内の65学会の協力を得て、それらの学会の全国大会、研究会などで発表された論文の要旨を集めた「学会発表データベース」の中の33万件ほどを、データベースとして用いています。なお、テストコレクションは「実験用データセット」という意味ですが、情報索では、情報検索システムの検索性能評価に用いるデータベースで、(1)データベース、(2)利用者の検索要求を記述した「検索課題」、(3)検索課題を満たす「正解文書の網羅的なリスト」を含むもので、情報検索システムの研究・開発、評価に必要不可欠です。 情報検索やテキスト処理技術の研究開発に利用できるより多様な実験用データセットを、順次、整備しくとともに、これらの技術の研究を進めていきたいと考えています。

なお、"NTCIR"は、「エンティサイル」と読みます。

今までのワークショップの開催時期、タスク、構築したテストコレクション、参加者数などは、下記のとおりです。

表１　過去のワークショップのタスク、コレクション、参加者数

表２.NTCIRワークショップにおいて構築した（あるいは利用可能になった）データと今後の予定(案）

*要約データのみ。新聞記事は日外アソシエーツより購入。