Workshop Home
参加者募集
第３回NTCIRワークショップ (2001/2002)
情報検索、Q&A,テキスト自動要約の評価
September 2001 - October 2002
成果報告会: October 8-10, 2002, NII, Tokyo Japan
お問合せ: ntc-admin

第3回NTCIRworkshopは 終了しました

最新のNTCIRworkshopは をご覧下さい

情報検索、Q&A、テキスト自動要約技術の評価ワークショップを開催します。共通の テストコレクションを用いてこれらの研究を行うことに関心のある研究グループ はどなたでも参加できます。奮ってご参加ください。

目的

• くりかえし利用可能なテストコレクションを構築し、情報検索、Q&Aおよび自動要約などの研究を促進する
• 各種手法の効果に関する相互比較、研究上のアイディアの交換や意見交換などを 通じて相互にまなびあうための研究者フォーラムを形成する
• 参加者からのフィードバックにより、テストコレクションの質の向上を図る

テストコレクション（データ）の概要　

NTCIR-3は、終了いたしました。データセットやテストコレクションについては、NTCIR Data Homeのページをご参照ください。

言語横断検索タスク (CLIR) (アジアで出版された新聞記事)

• CIRB010（1998-1999）：中国語(132,173件）
• United Daily News（1998-1999）：中国語(約100,000件）
• Korea Economic Daily（1994）：韓国語(約66,146件）
• 毎日新聞（1998-1999）：日本語　(約230,000件)*
• Taiwan News and Chinatimes English News (約14,000件）
• Mainichi Daily News（1998-1999）：英語　(約14,000件）*

特許検索タスク (patent)

• 公開特許公報全文: 1998-1999年
• Japio出願抄録: 1995-1999年
• 日本国英語特許出願抄録（Japio出願抄録の英訳）: 1995-1999年
• パトリス標準検索課題（特許公報1998-1999年を対象にした検索課題34件および正解判定）
• 新聞記事（日本語，英語，繁体中国語）

質問応答タスク (qac)

毎日新聞（1998-1999）：日本語　(約230,000件)*

テキスト自動要約タスク(tsc2)

毎日新聞（1998-1999）：日本語　(約230,000件)*

Web検索タスク (web)
主として、jpドメインから収集したWeb文書。文書集合の規模は，参加者が扱いやすい規模（10GB程度）と，ある程度現実に 近い規模（100GB程度）を想定している．参加 者は国立情報学研究所内のオープンラボに用意した計算機資源を用いて索引付 けなどのデータ処理を行い，その結果を持ち帰って検索実験を行う形を取る．

データの使用許諾に関する覚書に記名、押印して返送してください

タスク概要

Below is a brief summary of the tasks envisaged for the Workshop. A participant will conduct one or more of the tasks or subtasks below. Participation in only one subtask (for example Japanese monolingual IR (J-J)) is available:

言語横断検索タスク (CLIR) 参加申込
文書と検索課題は、それぞ、4カ国語（中国語、韓国語、日本語、英語）

• 多言語言語横断検索 (MLIR): ２カ国語以上の文書集合を、４カ国語の１つ以上の言語の検索課題で検索する。文書の年代が異なるため、韓国語文書は除外する。
• 二カ国語言語横断検索(BLIR): 文書と異なる言語の検索課題で検索をする。英語の文書は除く
• 単言語検索(SLIR): 中国語、韓国語、日本語の文書のいずれかを、文書と同じ言語の検索課題で検索する

特許検索タスク (patent)参加申込

• 基本タスク
  • 新聞記事に掲載された技術や商品に関連する特許を検索する（異種データ横断検索）．入力となる新聞記事として，日本語，英語，中国語（繁体字）の3種類を用意し，言語横断特許検索も行う．
  • ある特許文書を入力し，類似する特許を検索する（類似文書検索）．
  • いずれの場合も，検索特許一覧と検索課題に関連するパッセージをあわせて提出する．
  • 評価方法として，再現率・適合率に基づく評価とパッセージの質に基づく評価の2つを検討している．
• 自由タスク
  • 配布されるデータを用いて任意のタスクを行うことができる．以下に例を挙げる．
    • 特許マップ作成、請求項の書き換え、請求項と実施例の対応付け、特許抄録の自動作成、特許の自動分類など。

質問応答タスク (qac)参加申込

QACのWebサイト:　http://www.nlp.cs.ritsumei.ac.jp/qac/

• [タスク1]　システムは，与えられた質問（１００件の質問文）に対して， その回答と考えられるものひとつを優先順位をつけて5つ返す

• [タスク2]　システムは，与えられた質問（１００件の質問文）に対して， その回答と考えられるもののリストをただひとつ返す．

• [タスク3]　タスク2の形式で回答するシステムに対して， 複数の連続した質問(枝問)に回答させる． 連続した質問の最初(先頭)のものは， タスク2で用いられる質問と同じ

テキスト自動要約タスク(tsc2) 参加申込

TSCのWebサイト;http://lr-www.pi.titech.ac.jp/tsc/

• [課題A: single]　要約対象となるテキストと，要約の長さが与えられ，参加者は，それを元に要約をplain textで作成し提出する．

• [課題B: multi]　いくつかの種類のテキスト集合を対象とし，それらのテキスト集合の要約をplain textで作成し提出する．この際，テキスト集合を用意するのに用いた情報(クエリ等)および要約の長さも合わせて，システムに与える．

Web検索タスク (web)参加申込

• [A. サーベイ検索]　従来の学術文書や新聞記事を対象としたAd Hoc型検索に相当し，固定した文書集合に対して新たな検索課題で検索を行う．精度と再現率の両方を重視した評価を実施する．従来の書式の検索課題を用いた検索（「A1. 検索課題検索」）と，所与の適合文書を利用した検索（「A2.類書検索」）の二つのサブタスクを実施する．また，評価には，ページを単位とするものの，Webページは長さが不均質であることを鑑みて根拠となるパッセージ（文書の一部分，提出は必須でない）を単位とした補助的評価についても検討する．

• [B. ターゲット検索]　求めている答が見付かればよいもの（例えばファクト型の検索，あるいはサイトのトップページの検索など）で，精度が重視されるタスクである．検索結果は，根拠パッセージ（提出は必須でない）付きで，上位10件を順位付きで提出する．数種の評価尺度を検討する．

• [C. 自由タスク]　A，Bのサブタスクで使用する文書データに対して，自由に研究課題を登録し，研究を進める．研究成果は，NTCIR-3 成果報告会において論文／ポスターで発表を行なう．複数の参加者が得られた場合，サブタスクとして取り上げ，詳細を検討する．「C1. 分類出力タスク」，「C2. 音声入力タスク」はサブタスクとしての提案の例である．

日程

DATE		SCHEDULE	NOTE
2001-06-25		タスク検討会: TSC2, QAC	終了
2001-07-23		タスク検討会: CLIR, 特許、Web検索	終了
2001-07-24 -- 2001-07-25		情報処理学会FI研：　NTCIR特別セッション（NTCIR WS 3 のタスクの検討)	終了
2001-08-01		正式な参加者募集案内	終了
2001-09-30		申し込み締め切り(タスク毎に多少異なる場合があります）	終了
2001-10-01		文書の配布 (新聞記事)： 2001-10-15に延期されました	終了
2001-10 -- 2002-01		Dry Run (タスク毎に時期が異なります)とラウンドテーブルディスカッション	終了
2001-12		オープンラボ開始：Web検索	終了
2001-12 -- 2002-03		Formal Run (タスク毎に時期が異なります)	終了
2002-02 -- 2002-07		ラウンドテーブルディスカッション(タスク毎に時期が異なります)	終了
2002-07-01		評価結果の配布	終了
2002-08-20		成果報告会用論文締切り Due	終了
2002-10-08 -- 2002-10-10		NTCIR Workshop 3 成果報告会 1-2日目：タスク参加者のみ 3日目：公開セッション	終了
2002-12-01		正式版会議録用論文の締め切り	-

参加の種類

• A.通常；検索結果を提出し、システムについて詳しく報告する。チーム名、および、チーム名と評価結果における略称（チームID）との対応付けを公表

• B.匿名；検索結果は提出するが、システムの詳細については、差し障りがある部分は報告しなくてもよい。チーム名は公表するが、チーム名と評価結果における略称（チームID）との対応付けは公表しない。企業研究所などからの　参加の場合で、結果の公開が難しい場合などにご利用ください。

いずれの場合でも参加者名のリストは公表します。ただし、結果はチームIDのみを報告し、チームIDと参加チーム名との対応づけを公表するか どうかは、参加の種類によってきまります。A,Bのいずれの場合でも、 (1)会議録に収録する論文、(2)システム説明フォーム、 (3)NTCIRを使用した研究に関する発表論文のコピーと書誌事項を ご提出いただ くことになります。個別の問題点について は、お気軽にご相談ください。

参加申込み

オンライン参加申込みは、
http://research.nii.ac.jp/ntcir/ntcir-ws3/application-ja.html


フォームの送信がうまく行かない場合は、フォームをテキストファイルとして保存、または、プリントアウトし、必要事項を記入して、下記に、電子メイル、 郵便、またはFAXで下記までお送りください。

NTCIRプロジェクト事務局
情報学資源研究センター
国立情報学研究所
〒101-8430 東京都千代田区一ツ橋2-1-2
Phone: 03-4212-2750 Fax: 03-4212-2751
email: ntc-secretariat

問合せ

• その他、ご質問、ご意見、賛同なども、お気軽にntcirプロジェクトntc-adminに電子メイルでご連絡ください。
• 各タスクの詳細については、タスクオーガナイザにお問合せください。連絡先

その他

• 参加資格：成果報告会の1-2日目は、上記タスク のいずれかを遂行した研究グループおび主・共催機関の関係者が参加できます。3日目は一般公開です。
• 会議録: 成果報告会発表論文は、会議録（電子版と冊子体）として刊行します。
• NTCIRテストコレクションを用いた研究成果を成果報告会以外での場の発表も歓迎です。ただし、データ使用許諾に関する覚書の制約により、テストコレクションを用いたいかなる結果およびワークショップの成果を、商品の宣伝に用いることはできません。詳しくは、覚書をご参照ください。
• 海外からの参加も歓迎いたします。昨年は8カ国からの参加がありました。ご案内は、すべて、日本語と英語の二カ国語でいたします。
• 会議録論文集と成果報告会の使用言語は、英語です。
• 使用する文書データの著作権上の制約のため、国立情報学研究所の共同研究の枠組みで行わせていただきます。共同研究に関わる義務や制約は特になく、 通常の、タスクの結果提出と会議録への論文提出だけです。
• *毎日新聞記事データの使用期限*　毎日新聞のデータは、2001年9月1日から2003年9月30日まで使用可能です。結果を提出した、日本以外からの参加者は年９月日まで使用を延長できます。使用許可期間が終了した後は必ず、全文書データを削除してください。期間終了後も継続してデータを使用する場合は、毎日新聞社からデータを購入し、研究目的の使用許諾を得ることができます。データ使用期限はタスクによって異なる場合もあります。

ntc-admin
Last modified: 2002-11-12