[ENGLISH] [NTCIR ホーム][NTCIR データ home]

NTCIR-4 CLIR(IR Test Collection)

NTCIR-４　CLIRテストコレクションは中国語（C）・日本語（J)・韓国語（K)・英語（E）に対する言語横断検索（cross-lingual information retrieval：CLIR）に関する、以下のような実験に使用することができます。

• 多言語横断検索 (MLIR)
• ２言語横断検索 (BLIR)
• 単言語検索 (SLIR).

*なお、MLIRのための文書集合はCJEとCJKEのみです。また、中国語は繁体字です。

検索対象となる文書は、中国語・日本語・英語・英語で書かれた新聞記事の全文です。これらの新聞記事はアジア地域で1998年と1999年に発行されたものです。テストコレクションにはまた、これらの言語での検索課題および適合判定情報が含まれています。

(1) 文書セットのリスト

(2) 文書レコード中で使用されているタグ

検索課題

(1)検索課題ファイルのリスト

言語	ファイル名
(1)中国語	NTCIR4CLIRFormalRunTopic-CH.txt
(2)日本語	NTCIR4CLIRFormalRunTopic-JA_mod20031203.txt
(3)韓国語	NTCIR4CLIRFormalRunTopic-KR.txt
(4)英語	NTCIR4CLIRFormalRunTopic-RN.txt

(2)検索課題の例

<TOPIC> <NUM>013</NUM> <SLANG>CH</SLANG> <TLANG>EN</TLANG> <TITLE>NBA labor dispute</TITLE> <DESC>To retrieve the labor dispute between the two parties of the US National Basketball Association at the end of 1998 and the agreement that they reached. </DESC> <NARR> <REL>The content of the related documents should include the causes of NBA labor dispute, the relations between the players and the management, main controversial issues of both sides, compromises after negotiation and content of the new agreement, etc. The document will be regarded as irrelevant if it only touched upon the influences of closing the court on each game of the season.</REL> </NARR> <CONC>NBA (National Basketball Association), union, team, league, labor dispute, league and union, negotiation, to sign an agreement, salary, lockout, Stern, Bird Regulation.</CONC> </TOPIC>

(3)検索課題に使用されているタグ

<TOPIC>	</TOPIC>	The tag for each topic
<NUM>	</NUM>	Topic identifier
<SLANG>	</SLANG>	Source language code: CH, EN, JA, KR
<TLANG>	</TLANG>	Target language code: CH, EN, JA, KR
<TITLE>	</TITLE>	The concise representation of information request, which is composed of noun or noun phrase.
<DESC>	</DESC>	A short description of the topic. The brief description of information need, which is composed of one or two sentences.
<NARR>	</NARR>	A much longer description of topic. The <NARR> may has three parts; (1)<BACK>...</BACK>: background information about the topic is described. (2)<REL>...</REL>: further interpretation of the request and proper nouns, the list of relevant or irrelevant items, the specific requirements or limitations of relevant documents, and so on are given. (3)<TERM>...</TERM>: definition or explanation of proper nouns, scientific terms and so on.
<CONC>	</CONC>	The keywords relevant to whole topic.

適合判定

(1)適合判定ファイルのリスト

検索の種類	検索課題	文書	使用する適合判定ファイル
単言語検索 (SLIR)	中国語(C)	中国語(C)	CLIR4FormalRunRJ-C-Rigid.txt CLIR4FormalRunRJ-C-Relax.txt
	日本語(J)	日本語(J)	CLIR4FormalRunRJ-J-Rigid.txt CLIR4FormalRunRJ-J-Relax.txt
	韓国語(K)	韓国語(K)	CLIR4FormalRunRJ-K-Rigid.txt CLIR4FormalRunRJ-K-Relax.txt
	英語(E)	英語(E)	CLIR4FormalRunRJ-E-Rigid.txt CLIR4FormalRunRJ-E-Relax.txt
2言語横断検索 (BLIR)	C or J or K	E	CLIR4FormalRunRJ-E-Rigid.txt CLIR4FormalRunRJ-E-Relax.txt
	C or K	J	CLIR4FormalRunRJ-J-Rigid.txt CLIR4FormalRunRJ-J-Relax.txt
	K or J	C	CLIR4FormalRunRJ-C-Rigid.txt CLIR4FormalRunRJ-C-Relax.txt
	C or J	K	CLIR4FormalRunRJ-K-Rigid.txt CLIR4FormalRunRJ-K-Relax.txt
多言語横断検索 (MLIR)	C or J or K or E	C and J and K and E	CLIR4FormalRunRJ-CJKE-Rigid.txt CLIR4FormalRunRJ-CJKE-Relax.txt
	C or J or K or E	C and J and E	CLIR4FormalRunRJ-CJE-Rigid.txt CLIR4FormalRunRJ-CJE-Relax.txt

(2) 2種類の適合判定ファイル

このテストコレクションでは、「Highly Relevant（高適合）」「Relevant（適合）」「Partially Relevant（部分適合）」「Irrelevant（不適合）」の4段階の適合度によって文書の評価が実施されています。しかし、評価指標を算出するためのtrec_evalソフトウェアでは2値の判定が採用されているため、閾値を決めて、上記の4段階の適合度を2値へと変換しています。そのため、適合判定ファイルは次の2種類のものが用意されることになります。
(a)「Rigid」適合：「高適合」と「適合」を適合として扱う。
(b)「Relaxed」適合：「高適合」と「適合」、「部分適合」を適合として扱う。

(3) 適合判定ファイルの書式

適合判定ファイルの書式は以下のとおりです。

(検索課題ID) (ダミー） (文書ID) (適合判定 "0"または "1") (コメント)

• 各フィールドはTABで区切られています。
• リストは検索課題の昇順でソートされ、さらにその中は文書IDの昇順になっています。検索課題IDは検索課題の3文字の番号です。
• ダミー・フィールドには、4段階の適合度の情報が含まれています。Sは「高適合」、Aは「適合」、Bは「部分適合」」、Cは「不適合」です。
• 適合判定フィールドには0と1の2値が含まれています。0は不適合、1は適合です（上記のそれぞれの閾値に従って、rigidとrelaxedの2種類のファイルがあります）。
• コメントフィールドには、判定の根拠となったフレーズや文が記載されていることがあります。

適合文書数が1000を超えた場合、trec_evalによって計算される平均精度の値の上限は1.0未満になるようです。例えば、適合文書数が1072件の場合、上限は、1000/1072 (= 0.9328)となるようです。

注意事項---

テストコレクションに含まれる文書データは、作成機関等から有償または無償でNTCIRで使用するために提供されたものです。いずれも、著作権があり、商品としての価値もあるものですが、情報アクセス研究におけるテストコレクションの重要性に鑑み、とくに、研究目的での使用を許諾していただきました。我々研究者は、今後も継続して文書データが研究に使用できるように、文書データ作成・提供機関からの信頼に応え、良好な関係を保つことが重要です。そのため、利用規程等をよく理解し、文書データ作成・提供機関の権利を侵害しないように十分に配慮し、研究目的に限って使用してください。

お申込み --- テストコレクションの申込み方法は次の通りです。NIIから配布するものはいずれも無料です。

【タスクデータ】（文書データ不要の場合）

• NTCIR-4 CLIRタスクデータは、NIIのIDRからダウンロードできます：
  https://www.nii.ac.jp/dsc/idr/ntcir/ntcir.html

【文書データ】

• まず、「テストコレクション利用申込書」を、E-mailで、 idr-ntcir宛 に送付して下さい。
  
• NIIで審査後、こちらからご連絡致します。
  利用許可が出た場合は、下記の要領で「利用許諾に関する覚書」を2部作成し、下記の送付先までご郵送下さい。
  
  
• 利用許諾に関する「覚書」をメールで送付しますので、各テストコレクションにつき２部、両面印刷で出力し、必要事項を記入し、署名および押印を して、以下の送付先に郵送してください。
  NII側の押印後、テストコレクションの利用許諾を示すものとして１部を利用申込者にお送りし、１部をNIIで保管します。

必要書類　---   

• テストコレクション利用申込書
• テストコレクション利用許諾に関する覚書 （メールで送付します）
  参考書類　
  • 利用規程

「覚書」送付先 ---

〒101-8430
東京都千代田区一ツ橋2-1-2
国立情報学研究所
NTCIR事務局 (1309号室)

Phone: 03-4212-2750
FAX: 03-4212-2751

• ---

  [ENGLISH] [NTCIR ホーム] [このページの先頭] [NTCIR データHOME]
  Updated on : 2015-07-22

  ntc-admin