はじめに:
NTCIRは、情報検索、言語横断情報アクセス、質問応答などの「情報アクセス技術」研究の評価ワークショップシリーズです。大規模かつ再利用可能なテストコレクション、評価の基盤、研究者のフォーラムを用意することによって、これらの研究を促進することを目的としています。「情報アクセス」は、伝統的な文書検索から、利用者による文書中の情報活用までを含みます。プロジェクトの初期から、日本語や東アジア言語のテキストを対象とした研究、アジア諸言語と英語の間の言語横断応用、テキストの中の情報活用技術に力をいれてきました。ワークショップは、およそ1年半に1回開催します。
タスクとテストコレクションの詳細は、各タスクのwebサイトでご案内します。
第5回NTCIRワークショップでは次の5つの研究部門を「タスク」として選択し、また新たな試みとしてパイロットワークショップを設けました。詳しくは下記のリンクから、各タスクの情報をご覧ください。
○○ワークショップのタスク
1. 言語横断検索タスク (CLIR)
中国語(繁体字)、韓国語、日本語、英語の新聞記事を用いた多言語言語横断検索、
二言語間言語横断検索、ピボット言語横断検索、単言語検索
2. 多言語質問応答タスク (CLQA)
NTCIR-5で初めて設けられたタスク
5つのサブタスクから構成:C->C, E->C, C->E, E->J, J->E(なおJ->JはQACの中で実施)
3. 特許検索タスク (PATENT)
検索タスク:無効資料調査。分類タスク:「Fターム」に焦点を当てた自動分類タスク
4. 質問応答タスク (QAC)
対話的状況を想定した質問応答, 正解の過不足ない網羅を要求
参照評価用タスク:質問の参照解消を人手で行い独立した質問としたセットを用いた評価
5. Webタスク (WEB)
ナビゲーション指向検索タスク2:既知事項検索
検索語選択支援タスク(パイロットサブタスク)
テストコレクション:
CLIRのテストコレクション中の文書データとして、NTCIR-4では、1998-1999年出版の中国語(繁体字)、韓国語、日本語、(東アジアで刊行された)英語の新聞記事を用いました。NTCIR-5では新しく、中国語の新聞記事と、2000年-2001年に出版された韓国語と日本語の新聞記事を追加し、データ規模の拡張を行いました。NTCIR-3 CLIR, NTCIR-4 CLIR (NTCIR-3及びNTCIR-4のCLIRタスクで使用したテストコレクション)を、文書データも含め、訓練用データとして配布します。
CLQAのテストコレクションで用いる文書データは、2000-2001年出版の中国語、日本語、英語の新聞記事です。
PATENTのテストコレクションで用いる文書データは、NTCIR-4 PATENTと同じです。 NTCR-3 PATENT, NTCIR-4 PATENT(NTCIR-3及びNTCIR-4の特許タスクで使用したテストコレクション)を、訓練用データとして利用することができます(要覚書)。
QACのテストコレクションで用いる文書データは、1998-2001年に出版された2紙の日本語新聞記事データです。1998-1999年のデータを用いたNTCIR-4に比べ、データ規模が拡張されました。NTCIR-4 QAC (NTCIR-4のQACタスクで使用したテストコレクション)を、文書データも含め、訓練用データとして配布します。
WEBのテストコレクションでは、NW1000G-04を文書データとして用います。NTCIR-3 WEB, NTCIR-4 WEB (NTCIR-3及びNTCIR-4のWEBタスクで使用したテストコレクション)を、訓練用データとして利用することができます(要覚書)。
MuSTのテストコレクションでは、1998-1999年出版の日本語新聞記事データを文書データとして用います。
参加申込み方法
第5回NTCIRワークショップ参加申込のページをご参照ください。
まずこのページでオンライン登録を済ませた後、参加希望タスクの覚書のご提出が必要となります。
DATE SCHEDULE NOTE 2004-09-30参加者用覚書配布開始
(特許検索とWEB)Done 2003-11-16参加者用覚書配布開始
(CLIR)Done 2004-12-06参加者用覚書配布開始
(QAC)Done 2004-12-07参加者用覚書配布開始
(CLQA)Done 2004-12-20第5回NTCIRワークショップの
オンライン登録開始Done 2005-01-07第5回NTCIRパイロットワークショップ(MuST)ウェブページアップDone 2005-05-31タスク参加申込締切期限(MuSTについては受付中)
Done 今後のスケジュールは各タスクごとにことなります。
詳細は各タスクのページをご覧ください。2005-09-01 評価結果を各参加者に返送
公募論文募集2005-10-01 公募論文の締切 2005-10-15 成果報告会・会議論文集の原稿締切** 2005-11-01 公募論文受理のお知らせ 2005-12-06/09 成果報告会 (東京、国立情報学研究所)終了 2006-2,3月頃 MuST成果(進捗)報告会 タスクデータおよびテストコレクションの研究目的利用(ワークショップ参加者以外)