ツール Home

---

|概要|評価指標|文書フォーマット変換|適合判定管理|

ツール一覧

NTCIRワークショップでこれまでに構築したツールには下記のものがあります。
詳細は、表中の該当箇所をクリックしてください。


1. フォーマットおよびツール概要（主にIR)

	評価ツール	run形式	doc形式	qrel形式
NTCIR1-6	trec_eval	TREC format	ntcir_doc format (NTCIR文書データ用フォーマット）	Early NTCIR format
NTCIR7-	NTCIREVAL (rev. on July 12, 2023)	res format [sample]	ntcir_doc format (NTCIR文書データ用フォーマット）	NTCIR format [sample]
	提出結果フォーマット変換スクリプト (trec_eval format to ntcir_eval format)	IR4QA format
		TREC format
PATENT	-trec_eval for PATENT -Precision-oriented Evaluation program for NTCIR-5 Passage Retrieval Task	TREC format	-	-
		*フォーマットおよび使用されているタグの詳細は、各テストコレクションに含まれるREADMEまたはREADME.htmlファイルをご参照ください。

2. 評価指標/スコアラ
タスク名の略称：（例）7ACLIA→NTCIR-7 ACLIA Test Collection

ツール名									用途	タスク名	備考
ir4qa_eval.tar.gz ir4qa_eval2.tar.gz									評価ツールの最新版は、 NTCIREVAL (rev. on July 12, 2023)をご覧ください	7ACLIA, 8ACLIA, 8CQA	-
NTCIREVAL (rev. on July 12, 2023)									評価ツールの最新版 検索評価指標　計算ツール (平均精度などの二値適合性に基づく指標、Q-measure、nDCGなど多値適合性に基づく指標）	NTCIR-9	NTCIRやTRECのAd Hoc文書検索タスク、NTCIR-8CQA、 Diversified Searchに使用可能
NTCIRPOOL									適合判定のためのプールを作成するシンプルなシェルスクリプト	NTCIR-9	-
BOOTS (rev. on May 07, 2016)									BOOTSはシステムの集合が与えられた時に、システム対毎にbootstrap testを行い、判別能力を計算するためのツールキットです。
Discpower (rev. on May 07, 2016)									Discpowerはrandomised Tukey HSD testを用いて評価指標の判別能力を計算するツールキットです。
RITE SDK									テキスト含意認識システムの開発および評価のためのJavaフレームワーク	9RITE	-

3. 新聞記事 フォーマット変換用スクリプト
タスク名の略称：（例）7ACLIA→NTCIR-7 ACLIA Test Collection

ツール名									用途	言語	タスク名
mai2ntc-r.pl									毎日新聞記事データをNTCIR用フォーマットに変換	J	7.8ACLIA, 3.4.5.6CLIR, 6CLQA, 8GeoTime, 6MuST 6OPINION, 7.8MOAT, 3.4.5.6QAC
nyt2ntc.pl									New York Times新聞記事データをNTCIR用フォーマットに変換	E	8GeoTime, 8MOAT
xie2ntc.pl									Xinhua English 新聞記事データをNTCIR用フォーマットに変換	E	4.5CLIR, 6OPINION, 7.8MOAT
xin2ntc.pl									Xinhua Simplified Chinese 新聞記事データをNTCIR用フォーマットに変換	Cs	7ACLIA
xin2ntc.1.pl									Xinhua Simplified Chinese 新聞記事データをNTCIR用フォーマットに変換	Cs	7.8ACLIA, 7.8MOAT
yomi2ntc-clqa.pl									Daily Yomiuri 新聞記事データをNTCIR用フォーマットに変換	E	5CLIR, 5CLQA, 6OPINION
yomi2ntcir.pl									読売新聞記事データをNTCIR用フォーマットに変換	J	4.5.6CLIR, 5CLQA, 6OPINION, 4QAC

---	研究目的用として公開中のテストコレクション
---	ワークショップ参加者用テストコレクション

4. 適合判定管理システム

システム名

SEPIA

---

［English］ [NTCIR home]　　　　　　　　　　　　　　　　　　　　　　　　

---