[ENGLISH] [NTCIR ホーム] [NTCIR データ Home]

NTCIR-9 RITE ( Recognizing Inference in TExt )

NTCIR-9 RITE テストコレクションは、中国語簡体字(Cs)、繁体字(Ct)、日本語(J)のテキスト間の含意認識に関する実験に使用することができます。

テストコレクションは、次の4つのサブタスクからなります。

• バイナリクラス（BC)サブタスク　- テキスト対(t1,t2)を入力としてt1から仮説t2が真だと推論し得るか、そうでないかを判別する2値分類問題。
• マルチクラス(MC)サブタスク - 含意の方向、矛盾の検出も加えた、次の5種類が出力となる問題。含意関係あり(forward / reverse / bidirection)、含意関係なし(contradiction / independence)。
• 大学入試サブタスク (日本語のみ) - 大学入試センター試験の設問を用い、問題の選択肢と、それに関連する Wikipedia のテキストをペアにした課題を出題。人間が試験問題を解くプロセス（の一部）をRITEのタスクとしてシミュレートする。知能システムの評価に本物の入試データを使う試みは新しい。
• RITE4QAサブタスク - 入出力はBinary-class サブタスクと同じだが、質問応答システムに組み込んだというシナリオで評価。質問応答(QA)の回答フィルタリングという実践的なシナリオに組み込んで評価したときの、RITEの貢献度合いを知ることができる。

J: 日本語, E: 英語, C: 中国語 (Cs: 簡体字, Ct: 繁体字)

*大学入試サブタスクのデータは、現在NTCIR-9ワークショップ大学入試サブタスクのご参加者のみご利用いただけます。
データの利用許諾に関する交渉中です。ご利用が可能になりましたらご案内申し上げます。

README

• description-available-data [PDF]
  

Format

Test Data (Formal Run Data) Format

<dataset type="bc">
  <pair id="1">
    <t1>石垣島は、冬でもハイビスカスが咲き乱れる楽園だ。</t1>
    <t2>石垣島の冬の気温は高い。</t2>
  </pair>
  <pair id="2">
  : : : 
</dataset>

Dev/Test Gold Standard Data Format

<dataset type="bc">
  <pair id="1" label="Y">
    <t1>石垣島は、冬でもハイビスカスが咲き乱れる楽園だ。</t1>
    <t2>石垣島の冬の気温は高い。</t2>
  </pair>
  <pair id="2" label="N">
  : : : 
</dataset>

お申込み

文書データの入手方法はこちら：
https://research.nii.ac.jp/ntcir/permission/perm-ja-DocumentData.html

必要書類 　---   

• テストコレクション利用申込書
• 覚書 （メールで送付します）　
  

参考書類 　---   

• 利用規程
• NTCIR-9 RITE タスク統括論文 (2012.04.24更新版）
  Overview of NTCIR-9 RITE: Recognizing Inference in TExt
• NTCIR-9 RITE タスクウェブサイト
  http://artigas.lti.cs.cmu.edu/rite/
• ツール
  http://research.nii.ac.jp/ntcir/tools/tools-ja.html

注意事項 ---

テストコレクションに含まれる文書データは、作成機関等から有償または無償でNTCIRで 利用するために提供されたものです。いずれも、著作権があり、商品 としての価値もあるものですが、情報アクセス研究におけるテストコレクションの重要性に鑑み、とくに、研究目的での利用を許諾していただきました。我々 研究者は、今後も継続して文書データが研究に利用できるように、文書データ作成・提供機関からの信頼に応え、良好な関係を保つことが重要です。そのため、 覚書、利用申請書、利用規定等をよく理解し、文書データ作成・提供機関の権利を侵害しないように十分に配慮し、研究目的に限って利用してください。

• ---

  [ENGLISH] [NTCIR ホーム] [このページの先頭] [NTCIR データ Home]
  Updated on : 2014-06-09
• ntc-admin