NTCIRワークショップは、日本語およびアジア言語文書の検索、言語横断検索、テキスト要約・情報抽出などのテキスト処理技術の研究をより発展させることを目的とした評価会議です。
その目的は、
「評価会議」は、通常、実験用のデータセットと実験結果を評価するための統一された手順が用意されます。評価会議に参加するグループは、それぞれ、NTCIR企画グループが用意したデータを用い、さまざまなアプローチで研究と実験を行います。 情報検索やテキスト処理の研究において、繰り返し実験に利用できる大規模な標準データセットが重要であることは、広く認められており、評価会議は、そのようなデータと研究上のアイディアや技術の交換・移転のための研究者のフォーラムを提供することによって、研究を進めていく、新しいタイプの共同研究です。
第1回NTCIRワークショップは、全体のプロセスは1998年１１月の訓練用データ配布から開始し、1999年8月30〜9月1日に東京のKKRホテルで開催した成果報告会で幕を閉じました。第1回ワークショップでは、6カ国28研究グループがタスクを遂行し、その結果を提出しました。 第2回ワークショップは、2000年6月から開始し、2001年3月7-9日に、東京の国立情報学研究所で成果報告会を開催する予定です。8ヶ国46の研究グループがタクスへの参加登録をしています。
NTCIRプロジェクトでは、ごく初期から、「伝統的な実験室型の情報検索システムの評価テスト」と「より新しい課題」という２つの方向を目指してきました。実験室型の評価テストでは、とくに、(1)日本語や他のアジア言語文書の検索(IR)と、(2)言語横断検索に重点をおいています。より新しい課題では、(3)文書検索から「情報」検索へという動きと、(4)より現実的な評価法、とくに、特定の文書タイプやそのタイプの文書をよく利用する利用者の特性やその利用法に適した評価法に関する研究などに力を注いでいます。