NTCIRワークショップは、情報検索、テキスト要約、情報抽出、質問応答など情報アクセス技術の研究をより発展させることを目的とした評価ワークショップです。

NTCIRワークショップの目的は、

1. 大規模な評価実験を可能にする研究基盤を提供することによって、情報検索・情報アクセス技術と関連領域の研究の一層の発展を図る
2. システム間の比較、研究上のアイディアの交換などを行う研究者フォーラムを作る
3. 情報検索・アクセス技術の評価手法および評価指標について研究を行なう

もっとも中心的な関心は、「いかに、実験室内の研究を実世界に適用できるようにするか！？」です。評価は、どの研究者にとっても重要な問題です--自分の研究アイディアが本当に有効なのか、改良しようとおもってだしたアイディアが本当に改良につながったのか、改悪だったのか？　しかしながら、情報アクセス技術は、成功・不成功の評価基準は利用者である人間の判断であるため、大規模で信頼性のある評価を個々の実験室レベルで行なうのには多くの時間とコストがかかります。そこれで、「評価ワークショップ」では、その評価を共通に行なうことで、より多くの実験グループが研究の早い段階でそれぞれの提案手法をより信頼性の高い、大規模な評価実験によって評価することができ、かつ、参加した他のグループとあわせて、より多様なアプローチの有用性や特徴をたがいに学びあう場を提供することによって、より有効に研究のパワーを集中させて、当該分野の研究を促進しようと目指すものです。
　　
このように、国内外の多数の参加グループが集まることにより、１研究グループでは、到底、試すことができないほど、多様なアプローチや手法を共通の基盤の上で、幅広く実験し、相互比較を通して、各技術の利点、欠点などを学び合うことができます。共通の基盤の上で研究者同士が深く意見交換や研究アイディアの議論をする場としても機能します。

情報検索・情報活用技術の研究では、繰り返し実験に利用できる大規模な標準的なテストコレクション(文書、研究課題、正解データを含む実験用データセット）が重要であることは、広く認められています。また、同時に、より安定し、かつ、識別力の高い評価指標とその分析、評価実験法の設計も重要な課題です。技術の進歩や社会の発展に伴い、評価手法も常に進歩・発展しつづける必要があります。多くの研究者が集まって集中して議論を進める評価ワークショップは評価手法について研究、検証をする最適な機会でもあります。評価ワークショップは、このように、大規模なテストコレクション、評価基盤、研究上のアイディアや技術の交換・移転のための研究者のフォーラムを提供することによって、研究を進めていく、新しいタイプの共同研究です。

第9回NTCIRワークショップの参加研究団体のみなさまが、この趣旨に賛同され、NTCIRワークショップでの研究を存分に楽しみ、この機会をより有効に活用し、ひいては、これが情報検索、情報アクセス技術の発展に寄与することを祈念しています。

提案、アドバイス、ご意見などございましたら、どのようなことでも歓迎です！　NTCIR-9 General Co-Chair および Evaluation Co-Chair: ntc9-chairs まで、どうぞ、お気軽にお声をかけてください。