第4回NTCIRワークショップ
タスク参加申込みの手引き

最終更新: 2003-04-11

[English] [NTCIR-4]

はじめに

タスクの概要とそこからリンクされている各タスクのタスク参加者募集、タスクの定義などを詳しくご検討ください。NTCIRと第4回NTCIRワークショップのサイトの情報は、随時更新されます。主要な更新はメイリングリストでもお知らせしますが、お手数ですが定期的に参照してくださいますようお願いいたします。

参加申込みと覚書:

第4回NTCIRワークショップに参加するためには、 (1) オンライン参加登録フォームから該当するタスクへの参加申込み をし、 (2) 記名、押印をしたテストコレクション使用許諾のための覚書(参加者用)各2部ずつを郵送してください。

(1) 参加申込み:

複数のタスクに参加する場合は、各タスクごとに参加登録をしてください。その場合、複数のタスクで同じ参加グループ名やグループIDを使用することができます。

Emailアドレス: 申込書に記載したEmailアドレス は、下記のNTCIR関係の4つのメイリングリストに登録します。くわしくは

正確なEmailアドレスを!: 申込書に記載されたEmailアドレスや連絡先に不備があると、タスクの研究課題遂行に必要な連絡ができません。申込書は注意深く記入してください。また、連絡先、所属等に変更があった場合は、すぐにご連絡ください。

参加と評価結果の公開: 参加研究団体名のリストは公開します。グループIDは、タスクの提出結果と評価結果を示すために使用します。評価結果は、このグループIDを使って、成果報告会のワーキングノーツおよび正式版の会議録論文集で報告し、公刊します。

参加タイプ: 次の2種があります。

特別の事由があるときを除き、原則として「A.通常(type A)」でお願いします。

成果報告の提出: いずれの参加タイプの場合でも、参加者は、(a)結果の提出、(b)成果報告会用ワーキングノーツと正式版会議論文集に収録する論文、(c)システム説明フォーム、 (d)NTCIRコレクションを使用した研究に関する発表論文のコピーと書誌事項を ご提出ください。 なお、システム説明フォームは、特許等の関連で公開できない事項については 記入されなくても結構です。 ワーキングノーツ、会議論文集、発表論文のコピーは、テストコレクションを使用した研究成果の報告の一部として、テストコレクションで使用しているデータの著作権上の権利者に送付あるいは回覧する場合があります。あらかじめご了承ください。

参加登録後の変更: 予期しない事由により、このNTCIRワークショップへの参加を中止する場合、あるいは、結果を提出できない場合は、すぐに、プログラム委員長(神門 典子. かんど のりこ, kando)と参加登録をしたタスクのオーガナイザに、ご連絡ください。 参加申込み後、参加するタスクの変更や追加を参加を希望する場合は、神門と当該タスクのオーガナイザにご相談ください。サブタスクの変更はタスクのオーガナイザにご相談ください。サブタスクの変更に伴って、新たな文書データが必要になる、あるいは、不要になる文書データがある場合は、神門にもご相談ください。なお、「タスク」とは、言語横断検索、特許検索、質問応答、テキスト要約、WEBの5つを指し、「サブタスク」とは、各タスクの中で設定されたものを指します。(QACの"タスク1"は、質問応答タスクの中のサブタスクです)

なお、学生は、「代表者(Principle Investigator of the group)」にはなれません。指導教官を代表者としてください。「連絡先(contact person)」は、大学院生でもかまいません。

オンライン参加登録フォームの送信に問題がある場合は、フォームをダウンロードし、必要事項を記入し、Email, FAX, 郵送などのいずれかの手段で、下記のNTCIRプロジェクト事務局までお送りください。

(2) テストコレクション使用許諾のための覚書 (NTCIRワークショップ参加者用)

参加するタスクの覚書を2部作成し、必要事項を記入し、押印し、2部ともNTCIR事務局へお送りください

必要な覚書をダウンロードし、2部、両面印刷で作成してください。2部とも押印が必要です。両面印刷にし、必要事項を記入し、押印した覚書の原本を2部ずつ、下記のNTCIR事務局へお送りください。押印した覚書原本が必要なので、郵送あるいは宅配便などでお送りください。NII側の押印後、テストコレクションの使用許諾を示すものとして1部を参加団体に返送し、1部をNIIが保管します。記名押印した覚書のコピーをテストコレクションで使用しているデータの著作権上の権利者に送付または回覧する場合があります。あらかじめご了承ください。

言語横断検索タスクで使用するXinhua(新華社通信英文記事)については、Xinhua用の説明に従ってください。

各タスクの説明をよく読み、覚書末尾のリストから必要なデータセットを選択し、チェックをしてください。前回のNTCIRワークショップに参加し、「ワークショップ参加者としてNIIから使用が許諾された」データセットをお持ちの場合も、それは前回のワークショップのための許諾ですので、この第4回NTCIRワークショップで参加するタスクで同じデータセットが必要な場合は、再度、この覚書で選択をし、許諾を得てください。もし、今回のワークショップで使用するデータセットについて、NIIあるいは著作権上の権利者から「研究目的の使用許諾」を得ている場合は、この覚書で選択せずに、そのデータセットをお使いいただけます。

使用するデータの詳細については、NTCIR-4データHomeを参照してください。

(3) ワークショップの目的: [くわしくは]

NTCIRワークショップは、情報検索、テキスト要約、情報抽出、質問応答など情報アクセス技術の研究をより発展させることを目的とした評価ワークショップです。

NTCIRワークショップの目的は、

  1. 繰り返し利用できる大規模な実験用データセットと、システム間の比較を可能にする共通の評価枠組みを提供することによって、情報検索・情報活用技術と関連領域の研究の一層の発展を図る
  2. システム間の比較、研究上のアイディアの交換などを行う研究者フォーラムを作る
  3. 情報検索やテキスト処理技術の評価手法および繰り返し実験に利用可能な大規模データセット構築法について研究を行う

「評価ワークショップ」は、通常、実験用のデータセット(テストコレクション)、研究課題、実験結果を評価するための統一された手順が用意されます。NTCIRワークショップに参加するグループは、それぞれ、NTCIRの企画を担当するオーガナイザが用意したデータを用い、共通の研究課題について、さまざまなアプローチで研究と実験を行い、結果を提出します。オーガナイザは結果をあらかじめ定めた共通の評価手法で評価し、共通の「正解データ」を作成し、評価結果と正解を参加者に返します。

このように、国内外の多数の参加グループが集まることにより、1研究グループでは、到底、試すことができないほど、多様なアプローチや手法を共通の基盤の上で、幅広く実験し、相互比較を通して、各技術の利点、欠点などを学び合うことができます。共通の基盤の上で研究者同士が深く意見交換や研究アイディアの議論をするこ場としても機能します。

情報検索・情報活用技術の研究では、繰り返し実験に利用できる大規模な標準的なテストコレクション(文書、研究課題、正解データを含む実験用データセット)が重要であることは、広く認められています。技術の進歩や社会の発展に伴い、評価手法も常に進歩・発展しつづける必要があります。多くの研究者が集まって集中して議論を進める評価ワークショップは評価手法について研究、検証をする最適な機会でもあります。評価ワークショップは、このように、大規模なテストコレクション、評価基盤、研究上のアイディアや技術の交換・移転のための研究者のフォーラムを提供することによって、研究を進めていく、新しいタイプの共同研究です。

第4回NTCIRワークショップの参加研究団体のみなさまが、この趣旨に賛同され、NTCIRワークショップでの研究を存分に楽しみ、この機会をより有効に活用し、ひいては、これが情報検索、情報アクセス技術の発展に寄与することを祈念しています。

提案、アドバイス、ご意見などございましたら、どのようなことでも歓迎です! どうぞ、お気軽にお声をかけてください。また、ご不明の点等は、下記までお問い合わせください。

NTCIRプロジェクト連絡・問合せ  [further information]


[English] [NTCIR-4]
ntc-admin
Last modified: 2003-04-11
modified on: 2003-03-03
modified on: 2003-02-21
started on: 2003-02-10